Как перенести 10Тб из Oracle в Postgres за 24 часа?
Предлагается вашему вниманию наш опыт по миграции данных и написанную на Java программу Ora2PgCopy для высокоскоростного переноса данных из Oracle в Postgres, которая применяется после создания таблиц и переноса программного кода прикладных систем.
Высокая скорость переноса данных обеспечивается за счёт использования Postgres-команды “copy”, применения многопоточной технологии Java для обработки файлов, управления опцией таблиц nologged/ logged, поддержки типов данных LOB и CLOB.
По результатам тестов Ora2PgCopy работает заметно быстрее таких аналогов как: Ispirer (convertum), oracle_fdw, ora2pg, Pentaho kettle.
Ora2PgCopy может функционировать как модуль в составе системы автоматизации миграции (САМ) LUI4ORA2PG, так и независимо от неё.
С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf:
https://pgconf.ru/2019/118109,
https://pgconf.ru/201911/264095,
https://pgconf.ru/2020/262456,
https://pgconf.ru/2021/288310,
https://pgconf.ru/2022/316022.
Слайды
Любушкин-Чибук.ppsxВидео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
45 мин
Игорь Мельников Postgres Professional ConsultantПоддержка пакетов Oracle (packages) в СУБД Postgres Pro 15 Enterprise
Одной из основных проблем при миграции с СУБД Oracle на PostgreSQL, являются пакеты PL/SQL.
В СУБД PostgreSQL отсутствует такой функционал - это приводит к необходимости переписывания (вплоть до его редизайна!) кода Oracle PL/SQL на PL/pgSQL.
В новой версии своего флагманского дистрибутива Postgres Pro 15 Enterpise компания Postgres Pro добавила поддержку функциональности пакетов: расширен синтаксис PL/pgSQL и добавлены новые механизмы в среду выполнения хранимых процедур. В докладе речь пойдет идет о поддержке функциональности пакетов в Postgres Pro 15 Enterpise: - группировка типов переменных процедур и функций в пакет; - поддержка секции инициализации пакетов; - поддержка глобальных переменных пакета доступных в течении всей "жизни" сессии.
Также в докладе будут рассмотрены особенности миграции пакетов из Oracle в СУБД Postgres Pro Enterprise.
-
22 минММихаил Маслов Банк ВТБ (ПАО) Администратор БД
Мультитранзакции и возможные проблемы с ними
В докладе рассмотрены мультитранзакции, в каких случаях они "появляются", как их мониторить и проверять. Возможные проблемы с переполнением счетчика мультитранзакций и описана проблема отсутствия файла в pg_multixact/offsets при восстановлении из резервной копии.
-
22 мин
Андрей Рудометов Postgres Professional Младший разработчикПривет, встроенный мультимастер? Сравнение двунаправленной репликации в ваниле и Postgres Pro Multimaster
Во встроенной логической репликации PostgreSQL с версии 9.5 есть механизм replication origin, позволяющий отслеживать процесс логической репликации с конкретного узла. В 16 версию будет включен патч, позволяющий настраивать циклическую репликацию без повторения изменений, пользуясь этим механизмом. В первых обзорах за внешнее сходство получающегося кластера с мультимастером Postgres Pro фичу окрестили "встроенным мультимастером" - разберемся, насколько они похожи на самом деле, и посмотрим, что там внутри. Ожидается, что слушатели имеют некоторое представление о внутреннем устройстве WAL и его месте в работе PostgreSQL.
-
45 минППавел Лузанов Postgres Professional Руководитель образовательных программ
PostgreSQL 16: На финишной прямой
8 апреля завершается прием изменений в 16-ю версию.
Ряд новинок уже известен, в частности нас ждут любопытные изменения в области безопасности и логической репликации. Но сделать анонс всех интересных патчей до окончания мартовского коммитфеста нельзя. По опыту предыдущих релизов можно предположить, что самые интересные патчи будут приняты во второй половине марта и начале апреля.
Поэтому интрига с содержанием этого доклада будет сохраняться до самого последнего момента в том числе и для автора.