Как перенести 10Тб из Oracle в Postgres за 24 часа?
Предлагается вашему вниманию наш опыт по миграции данных и написанную на Java программу Ora2PgCopy для высокоскоростного переноса данных из Oracle в Postgres, которая применяется после создания таблиц и переноса программного кода прикладных систем.
Высокая скорость переноса данных обеспечивается за счёт использования Postgres-команды “copy”, применения многопоточной технологии Java для обработки файлов, управления опцией таблиц nologged/ logged, поддержки типов данных LOB и CLOB.
По результатам тестов Ora2PgCopy работает заметно быстрее таких аналогов как: Ispirer (convertum), oracle_fdw, ora2pg, Pentaho kettle.
Ora2PgCopy может функционировать как модуль в составе системы автоматизации миграции (САМ) LUI4ORA2PG, так и независимо от неё.
С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf:
https://pgconf.ru/2019/118109,
https://pgconf.ru/201911/264095,
https://pgconf.ru/2020/262456,
https://pgconf.ru/2021/288310,
https://pgconf.ru/2022/316022.
Слайды
Любушкин-Чибук.ppsxВидео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
45 мин
Владимир Липунов ГАИШ МГУ профессорЭкстремальная астрономия
Популярная лекция с картинками о самых мощных во Вселенной явлениях, которые ставят пространство и время в неудобное положение и заставляют раскрывать его тайны мироздания тем, у кого есть пытливый ум и постгрес! Рассказ В.М. Липунова, профессора МГУ, автора известных в мире популярных и научных книг, теоретика, экспериментатора и создателя сети астрономических роботов.
-
45 мин
Михаил Шурутов СтандартПроект старший администратор баз данныхНабор Ansible-ролей для PostgreSQL
В данном докладе рассмотрен набор ролей Ansible как для разворачивания одиночных инстансов СУБД PostgreSQL с репликацией, так и для построения отказоустойчивых решений с помощью кластерных решений: patroni+etcd, patroni+consul, stolon+etcd, stolon+consul. Соответственно, рассмотрен вопрос, почему набор ролей, а не какое-либо "решение".
-
22 мин
Антон Немцев ООО "Нетрика" Руководитель направления АвтоматизацияКейс переезда СУБД с бизнес-логикой на Postgres PRO
Рассказываю про опыт выполнения проекта по импортозамещению информационной системы с СУБД Microsoft SQL Server на Postgres PRO. Владелец СУБД - АО «Росагролизинг».
СУБД содержит базу данных объемом около 6 Тб (более 300 таблиц с количеством строк до 4 млрд). Адаптировано 15 ETL пакетов и 131 процедура с полным сохранием функциональности и частичным рефакторингом исходного кода. Производительность системы осталась на прежнем уровне.
-
45 мин
Игорь Мельников Postgres Pro ConsultantПоддержка пакетов Oracle (packages) в СУБД Postgres Pro 15 Enterprise
Одной из основных проблем при миграции с СУБД Oracle на PostgreSQL, являются пакеты PL/SQL.
В СУБД PostgreSQL отсутствует такой функционал - это приводит к необходимости переписывания (вплоть до его редизайна!) кода Oracle PL/SQL на PL/pgSQL.
В новой версии своего флагманского дистрибутива Postgres Pro 15 Enterpise компания Postgres Pro добавила поддержку функциональности пакетов: расширен синтаксис PL/pgSQL и добавлены новые механизмы в среду выполнения хранимых процедур. В докладе речь пойдет идет о поддержке функциональности пакетов в Postgres Pro 15 Enterpise: - группировка типов переменных процедур и функций в пакет; - поддержка секции инициализации пакетов; - поддержка глобальных переменных пакета доступных в течении всей "жизни" сессии.
Также в докладе будут рассмотрены особенности миграции пакетов из Oracle в СУБД Postgres Pro Enterprise.