title

text

Андрей Чибук
Андрей Чибук ООО "ФОРС Телеком" Ведущий эксперт
Александр Любушкин
Александр Любушкин ООО "ФОРС Телеком" Технический директор
: декабря
45 мин

Как перенести 10Тб из Oracle в Postgres за 24 часа?

Предлагается вашему вниманию наш опыт по миграции данных и написанную на Java программу Ora2PgCopy для высокоскоростного переноса данных из Oracle в Postgres, которая применяется после создания таблиц и переноса программного кода прикладных систем. Высокая скорость переноса данных обеспечивается за счёт использования Postgres-команды “copy”, применения многопоточной технологии Java для обработки файлов, управления опцией таблиц nologged/ logged, поддержки типов данных LOB и CLOB. По результатам тестов Ora2PgCopy работает заметно быстрее таких аналогов как: Ispirer (convertum), oracle_fdw, ora2pg, Pentaho kettle. Ora2PgCopy может функционировать как модуль в составе системы автоматизации миграции (САМ) LUI4ORA2PG, так и независимо от неё. С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf: https://pgconf.ru/2019/118109, https://pgconf.ru/201911/264095, https://pgconf.ru/2020/262456, https://pgconf.ru/2021/288310,
https://pgconf.ru/2022/316022.

Слайды

Любушкин-Чибук.ppsx

Видео

Видео доступно участникам мероприятия, выполнившим вход в личный кабинет

Другие доклады

  • Павел Толмачев
    Павел Толмачев Postgres Professional Специалист образовательного отдела
    22 мин

    Познакомимся с GEQO за 20 минут

    ----------------------------------------QUERY PLAN--------------------------------------------
    Hash Join
      Hash Cond: (Subject = GEQO)
       -> Hash Join
            Hash Cond: (Задача оптимизатора = выбрать наилучший план выполнения запроса)
            -> Seq Scan on Количество потенциальных планов экспоненциально растет при увеличении числа таблиц в запросе
            -> Hash
                  -> Seq Scan on PostgreSQL решает эту проблему с помощью использования генетического оптимизатора (GEQO)
      -> Hash
            -> Seq Scan on Темы доклада:
                  Filter: ((Что такое GEQO) AND (Достоинства и недостатки) AND (Принцип работы))
    (10 rows)
    

  • Владимир Сердюк
    Владимир Сердюк Softpoint Генеральный директор
    45 мин

    Гетерогенная распределенная система – как способ безопасного перехода с MSSQL Server на PostgreSQL, а также снижения санкционных рисков

    Данный доклад предназначен в первую очередь для компаний, а точнее для их ИТ служб, эксплуатирующих российские системы 1С 8.х и имеющих возможность работать как на СУБД MSSQL Server, так и PostgreSQL. Мы живем в уникальное время, когда наличие в своем арсенале гетерогенной ИТ-системы (системы, имеющей распределенную архитектуру, где каждый экземпляр базы данных работает под управлением разных СУБД и/или имеет разную структуру данных) является оправданным как с экономической точки зрения, так и с учетом возможных рисков. С одной стороны, мы храним данные и пользуемся СУБД с предсказуемым поведением и открытым кодом, независимо от политической обстановки. С другой стороны, мы при таком подходе пользуемся всеми преимуществами (в первую очередь производительности) мощной СУБД поддерживаемой крупнейшим вендором пускай и недружественного нам государства. Именно сейчас необходимо оценивать риски с необходимым уровнем паранойи. Возможно ведь, что данные могут быть испорчены не только на уровне логики хранения, но и методом дополнительного «скрытого» вызова конструкций типа Delete/Update на уровне движка СУБД. Поэтому сейчас актуальным становится не только мониторинг производительности ИТ-системы, но и аудит данных и их своевременная сохранность. Необходимо реализовывать процедуры верификации данных, необходимо реализовывать процедуры закрытия периодов, процедуры отказоустойчивого хранения. И соответственно, предусматривать в процедурах восстановления данных различные модели угроз. В докладе представлены варианты противодействия подобным угрозам и сценарии максимально бесшовного перехода больших баз данных на PostgeSQL, ведь именно для подобных баз проблема перевода на новую СУБД стоит особо остро.

  • П
    Павел Лузанов Postgres Professional Руководитель образовательных программ
    45 мин

    PostgreSQL 16: На финишной прямой

    8 апреля завершается прием изменений в 16-ю версию.

    Ряд новинок уже известен, в частности нас ждут любопытные изменения в области безопасности и логической репликации. Но сделать анонс всех интересных патчей до окончания мартовского коммитфеста нельзя. По опыту предыдущих релизов можно предположить, что самые интересные патчи будут приняты во второй половине марта и начале апреля.

    Поэтому интрига с содержанием этого доклада будет сохраняться до самого последнего момента в том числе и для автора.

  • Андрей Григорьев
    Андрей Григорьев Ростелеком Информационные технологии Разработчик
    Юрий Плотников
    Юрий Плотников РТК ИТ Начальник отдела
    22 мин

    История о разработке инструмента управления изменениями в БД или чего нам не хватило в Liquibase и Flyway

    В докладе расскажем как мы храним объекты БД в системе контроля версий. Сравним традиционные подходы работы с миграциями БД и то, что понравилось нам. Расскажем о преимуществах и недостатках обоих методов. А потом мы представим наш инструмент для автоматизации процессов миграции и управления объектами БД - pgmig.