Как перенести 10Тб из Oracle в Postgres за 24 часа?
Предлагается вашему вниманию наш опыт по миграции данных и написанную на Java программу Ora2PgCopy для высокоскоростного переноса данных из Oracle в Postgres, которая применяется после создания таблиц и переноса программного кода прикладных систем.
Высокая скорость переноса данных обеспечивается за счёт использования Postgres-команды “copy”, применения многопоточной технологии Java для обработки файлов, управления опцией таблиц nologged/ logged, поддержки типов данных LOB и CLOB.
По результатам тестов Ora2PgCopy работает заметно быстрее таких аналогов как: Ispirer (convertum), oracle_fdw, ora2pg, Pentaho kettle.
Ora2PgCopy может функционировать как модуль в составе системы автоматизации миграции (САМ) LUI4ORA2PG, так и независимо от неё.
С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf:
https://pgconf.ru/2019/118109,
https://pgconf.ru/201911/264095,
https://pgconf.ru/2020/262456,
https://pgconf.ru/2021/288310,
https://pgconf.ru/2022/316022.
Слайды
Любушкин-Чибук.ppsxВидео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
45 мин
Александр Бурцев Skala-R Руководитель продукта Машина Баз Данных
Дарья Лепихова Postgres Professional разработчикПримеры работы с новым pg_probackup
Разработчики pg_probackup расскажут о том, как работать с разнообразием команд pg_probackup. Покажут на примерах как делать FULL и инкрементальные бэкапы в разных режимах DELTA, PAGE, PTRACK. Продемонстрируют настройки политик резервного копирования для разных предметных областей от обслуживания сотни простых СУБД до e-commerce и fintech.
-
45 мин
Антон Дорошкевич ИнфоСофт Руководитель Отдела-ИТРезервное копирование и восстановление PostgreSQL
Резервное копирование - один из самых обширных вопросов, который возникает после перехода на PostgreSQL. "Из коробки" PostgreSQL умеет делать два варианта резервного копирования и восстановления - это dump/restore pg_basebackup. Оба варианта имеют свои тонкости и особенности кардинально отличающие систему резервного копирования и восстановления от MS SQL. Так же в мире PostgreSQL сейчас активно развивается утилита pg_probackup, которая имеет на борту свой набор вариантов резервного копирования и восстановления со своими тонкостями и особенностями. Каждый вариант чем-то хорош, а чем-то не устраивает в разных сценариях. В докладе хочу рассказать про тонкости, особенности и лучшие практики на примере больших баз, сотен небольших баз на одном кластере PostgreSQL и просто маленьких инсталляций.
-
22 мин
Игорь Алов Yandex.Bank SREPgpool-II работа в режиме "Master-Master" или Как должна выглядеть балансировка нагрузки PostgreSQL глазами сетевого инженера.
Одна из базовых задач для высоконагруженных проектов – это «правильно» настроенное распределение нагрузки внутри кластера базы данных (балансировка), которое бы отвечало определенным параметрам SLA. Большинство решений, с которыми я познакомился, в том числе и Pgpool-II, не в полной мере могли соответствовать требованиям бизнеса. Руками и глазами сетевого инженера мы попытаемся улучшить решение от Pgpool-II и настроим его работу в режиме «Master-Master», а так же рассмотрим случаи, в которых без аналогичных решений не обойтись.
-
45 мин
Максим Емелин Postgres Professional Ведущий инженерПрименение Debezium в качестве инструмента дельта-миграции данных
Рассматривается кейс дельта миграции данных, особенности захвата изменений с использованием Debezium и их последующего применения в целевую БД. Приводятся различные варианты конфигураций, сравнительные тесты.