PGConf.Russia 2023

Предлагается вашему вниманию наш опыт по миграции данных и написанную на Java программу Ora2PgCopy для высокоскоростного переноса данных из Oracle в Postgres, которая применяется после создания таблиц и переноса программного кода прикладных систем. Высокая скорость переноса данных обеспечивается за счёт использования Postgres-команды “copy”, применения многопоточной технологии Java для обработки файлов, управления опцией таблиц nologged/ logged, поддержки типов данных LOB и CLOB. По результатам тестов Ora2PgCopy работает заметно быстрее таких аналогов как: Ispirer (convertum), oracle_fdw, ora2pg, Pentaho kettle. Ora2PgCopy может функционировать как модуль в составе системы автоматизации миграции (САМ) LUI4ORA2PG, так и независимо от неё. С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf: https://pgconf.ru/2019/118109, https://pgconf.ru/201911/264095, https://pgconf.ru/2020/262456, https://pgconf.ru/2021/288310,
https://pgconf.ru/2022/316022.

Я думаю, что каждый администратор баз данных в своей работе сталкиваемся с "тяжелыми" запросами. И возникает вопрос, а можно ли вообще ускорить работу этого запроса? Может быть, даже и оптимизировать такие запросы невозможно? Или время на переработку этого запроса будет существенно больше, чем выигрыш от производительности этого запроса. В своем докладе я рассмотрю несколько подходов к ускорению запросов и на практических примерах покажу оптимизации, которые использую в своей работе.

Каждый администратор баз данных так или иначе сталкивался с тем, что таблицы и индексы в PostgreSQL иногда могут значительно увеличиваться в размерах. Зачастую поиск причины такого роста приводит нас к выводу, что объекты "раздулись". В докладе мы поговорим о причинах такого поведения, подготовим тестовую среду для определения того какой же метод борьбы с блоатом является самым подходящим. Сравним несколько утилит по борьбе с блоатом, а также познакомимся с ещё одним инструментом, который позволяет нам бороться с этим явлением более эффективно. Этот доклад будет полезен как начинающим, так и опытным администраторам PostgreSQL.

My presentation "Explaining the Postgres Query Optimizer" covers the details of query optimization, optimizer statistics, joins, and indexes. This talk covers 40 other operations the optimizer can choose to handle complex queries, large data sets, and to enhance performance. These include merge append, gather, memoize, and hash aggregate. It explains their purpose and shows queries that can generate these operations.

This is a new talk; draft slides are at https://momjian.us/main/writings/pgsql/beyond.pdf