![Андрей Чибук Андрей Чибук](/media/2022/12/21/Чибук А_.JPG.180x180.jpg)
![Александр Любушкин Александр Любушкин](/media/2018/12/13/Любушкин_.jpg.180x180.jpg)
Как перенести 10Тб из Oracle в Postgres за 24 часа?
Предлагается вашему вниманию наш опыт по миграции данных и написанную на Java программу Ora2PgCopy для высокоскоростного переноса данных из Oracle в Postgres, которая применяется после создания таблиц и переноса программного кода прикладных систем.
Высокая скорость переноса данных обеспечивается за счёт использования Postgres-команды “copy”, применения многопоточной технологии Java для обработки файлов, управления опцией таблиц nologged/ logged, поддержки типов данных LOB и CLOB.
По результатам тестов Ora2PgCopy работает заметно быстрее таких аналогов как: Ispirer (convertum), oracle_fdw, ora2pg, Pentaho kettle.
Ora2PgCopy может функционировать как модуль в составе системы автоматизации миграции (САМ) LUI4ORA2PG, так и независимо от неё.
С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf:
https://pgconf.ru/2019/118109,
https://pgconf.ru/201911/264095,
https://pgconf.ru/2020/262456,
https://pgconf.ru/2021/288310,
https://pgconf.ru/2022/316022.
Слайды
Любушкин-Чибук.ppsxВидео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
Павел Толмачев Postgres Professional Специалист образовательного отдела
Познакомимся с GEQO за 20 минут
----------------------------------------QUERY PLAN-------------------------------------------- Hash Join Hash Cond: (Subject = GEQO) -> Hash Join Hash Cond: (Задача оптимизатора = выбрать наилучший план выполнения запроса) -> Seq Scan on Количество потенциальных планов экспоненциально растет при увеличении числа таблиц в запросе -> Hash -> Seq Scan on PostgreSQL решает эту проблему с помощью использования генетического оптимизатора (GEQO) -> Hash -> Seq Scan on Темы доклада: Filter: ((Что такое GEQO) AND (Достоинства и недостатки) AND (Принцип работы)) (10 rows)
-
Владимир Сердюк Softpoint Генеральный директор
Гетерогенная распределенная система – как способ безопасного перехода с MSSQL Server на PostgreSQL, а также снижения санкционных рисков
Данный доклад предназначен в первую очередь для компаний, а точнее для их ИТ служб, эксплуатирующих российские системы 1С 8.х и имеющих возможность работать как на СУБД MSSQL Server, так и PostgreSQL. Мы живем в уникальное время, когда наличие в своем арсенале гетерогенной ИТ-системы (системы, имеющей распределенную архитектуру, где каждый экземпляр базы данных работает под управлением разных СУБД и/или имеет разную структуру данных) является оправданным как с экономической точки зрения, так и с учетом возможных рисков. С одной стороны, мы храним данные и пользуемся СУБД с предсказуемым поведением и открытым кодом, независимо от политической обстановки. С другой стороны, мы при таком подходе пользуемся всеми преимуществами (в первую очередь производительности) мощной СУБД поддерживаемой крупнейшим вендором пускай и недружественного нам государства. Именно сейчас необходимо оценивать риски с необходимым уровнем паранойи. Возможно ведь, что данные могут быть испорчены не только на уровне логики хранения, но и методом дополнительного «скрытого» вызова конструкций типа Delete/Update на уровне движка СУБД. Поэтому сейчас актуальным становится не только мониторинг производительности ИТ-системы, но и аудит данных и их своевременная сохранность. Необходимо реализовывать процедуры верификации данных, необходимо реализовывать процедуры закрытия периодов, процедуры отказоустойчивого хранения. И соответственно, предусматривать в процедурах восстановления данных различные модели угроз. В докладе представлены варианты противодействия подобным угрозам и сценарии максимально бесшовного перехода больших баз данных на PostgeSQL, ведь именно для подобных баз проблема перевода на новую СУБД стоит особо остро.
-
ППавел Лузанов Postgres Professional Руководитель образовательных программ
PostgreSQL 16: На финишной прямой
8 апреля завершается прием изменений в 16-ю версию.
Ряд новинок уже известен, в частности нас ждут любопытные изменения в области безопасности и логической репликации. Но сделать анонс всех интересных патчей до окончания мартовского коммитфеста нельзя. По опыту предыдущих релизов можно предположить, что самые интересные патчи будут приняты во второй половине марта и начале апреля.
Поэтому интрига с содержанием этого доклада будет сохраняться до самого последнего момента в том числе и для автора.
-
Андрей Григорьев Ростелеком Информационные технологии РазработчикЮрий Плотников РТК ИТ Начальник отдела
История о разработке инструмента управления изменениями в БД или чего нам не хватило в Liquibase и Flyway
В докладе расскажем как мы храним объекты БД в системе контроля версий. Сравним традиционные подходы работы с миграциями БД и то, что понравилось нам. Расскажем о преимуществах и недостатках обоих методов. А потом мы представим наш инструмент для автоматизации процессов миграции и управления объектами БД - pgmig.