title

text

Андрей Чибук
Андрей Чибук ООО "ФОРС Телеком" Ведущий эксперт
Александр Любушкин
Александр Любушкин ООО "ФОРС Телеком" Технический директор
: декабря
45 мин

Как перенести 10Тб из Oracle в Postgres за 24 часа?

Предлагается вашему вниманию наш опыт по миграции данных и написанную на Java программу Ora2PgCopy для высокоскоростного переноса данных из Oracle в Postgres, которая применяется после создания таблиц и переноса программного кода прикладных систем. Высокая скорость переноса данных обеспечивается за счёт использования Postgres-команды “copy”, применения многопоточной технологии Java для обработки файлов, управления опцией таблиц nologged/ logged, поддержки типов данных LOB и CLOB. По результатам тестов Ora2PgCopy работает заметно быстрее таких аналогов как: Ispirer (convertum), oracle_fdw, ora2pg, Pentaho kettle. Ora2PgCopy может функционировать как модуль в составе системы автоматизации миграции (САМ) LUI4ORA2PG, так и независимо от неё. С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf: https://pgconf.ru/2019/118109, https://pgconf.ru/201911/264095, https://pgconf.ru/2020/262456, https://pgconf.ru/2021/288310,
https://pgconf.ru/2022/316022.

Слайды

Любушкин-Чибук.ppsx

Видео

Видео доступно участникам мероприятия, выполнившим вход в личный кабинет

Другие доклады

  • Антон Немцев
    Антон Немцев ООО "Нетрика" Руководитель направления Автоматизация
    22 мин

    Кейс переезда СУБД с бизнес-логикой на Postgres PRO

    Рассказываю про опыт выполнения проекта по импортозамещению информационной системы с СУБД Microsoft SQL Server на Postgres PRO. Владелец СУБД - АО «Росагролизинг».

    СУБД содержит базу данных объемом около 6 Тб (более 300 таблиц с количеством строк до 4 млрд). Адаптировано 15 ETL пакетов и 131 процедура с полным сохранием функциональности и частичным рефакторингом исходного кода. Производительность системы осталась на прежнем уровне.

  • Дарья Лепихова
    Дарья Лепихова Postgres Professional разработчик
    Александр Бурцев
    Александр Бурцев Skala-R Руководитель продукта Машина Баз Данных
    45 мин

    Примеры работы с новым pg_probackup

    Разработчики pg_probackup расскажут о том, как работать с разнообразием команд pg_probackup. Покажут на примерах как делать FULL и инкрементальные бэкапы в разных режимах DELTA, PAGE, PTRACK. Продемонстрируют настройки политик резервного копирования для разных предметных областей от обслуживания сотни простых СУБД до e-commerce и fintech.

  • Владимир Сердюк
    Владимир Сердюк Softpoint Генеральный директор
    45 мин

    Гетерогенная распределенная система – как способ безопасного перехода с MSSQL Server на PostgreSQL, а также снижения санкционных рисков

    Данный доклад предназначен в первую очередь для компаний, а точнее для их ИТ служб, эксплуатирующих российские системы 1С 8.х и имеющих возможность работать как на СУБД MSSQL Server, так и PostgreSQL. Мы живем в уникальное время, когда наличие в своем арсенале гетерогенной ИТ-системы (системы, имеющей распределенную архитектуру, где каждый экземпляр базы данных работает под управлением разных СУБД и/или имеет разную структуру данных) является оправданным как с экономической точки зрения, так и с учетом возможных рисков. С одной стороны, мы храним данные и пользуемся СУБД с предсказуемым поведением и открытым кодом, независимо от политической обстановки. С другой стороны, мы при таком подходе пользуемся всеми преимуществами (в первую очередь производительности) мощной СУБД поддерживаемой крупнейшим вендором пускай и недружественного нам государства. Именно сейчас необходимо оценивать риски с необходимым уровнем паранойи. Возможно ведь, что данные могут быть испорчены не только на уровне логики хранения, но и методом дополнительного «скрытого» вызова конструкций типа Delete/Update на уровне движка СУБД. Поэтому сейчас актуальным становится не только мониторинг производительности ИТ-системы, но и аудит данных и их своевременная сохранность. Необходимо реализовывать процедуры верификации данных, необходимо реализовывать процедуры закрытия периодов, процедуры отказоустойчивого хранения. И соответственно, предусматривать в процедурах восстановления данных различные модели угроз. В докладе представлены варианты противодействия подобным угрозам и сценарии максимально бесшовного перехода больших баз данных на PostgeSQL, ведь именно для подобных баз проблема перевода на новую СУБД стоит особо остро.

  • Игорь Мельников
    Игорь Мельников Postgres Pro Consultant
    45 мин

    Поддержка пакетов Oracle (packages) в СУБД Postgres Pro 15 Enterprise

    Одной из основных проблем при миграции с СУБД Oracle на PostgreSQL, являются пакеты PL/SQL.

    В СУБД PostgreSQL отсутствует такой функционал - это приводит к необходимости переписывания (вплоть до его редизайна!) кода Oracle PL/SQL на PL/pgSQL.

    В новой версии своего флагманского дистрибутива Postgres Pro 15 Enterpise компания Postgres Pro добавила поддержку функциональности пакетов: расширен синтаксис PL/pgSQL и добавлены новые механизмы в среду выполнения хранимых процедур. В докладе речь пойдет идет о поддержке функциональности пакетов в Postgres Pro 15 Enterpise: - группировка типов переменных процедур и функций в пакет; - поддержка секции инициализации пакетов; - поддержка глобальных переменных пакета доступных в течении всей "жизни" сессии.

    Также в докладе будут рассмотрены особенности миграции пакетов из Oracle в СУБД Postgres Pro Enterprise.