PGConf.Russia 2023

В процессе эксплуатации баз достаточно больших 1С на СУБД PostgreSQL часто возникают вопросы, ответы на которые не так просто найти даже в документации. Хотелось бы поделиться опытом решения таких вопросов на базе нескольких переводов 1С с MS SQL на PostgreSQL клиентов из рейтинга РБК500. В докладе будут освещены такие моменты как: Как регулировать уровень глубины расчёта статистики и чем это может быть опасно? Как создание явной и неявной временной таблицы может "положить" сервер СУБД и как с этим бороться? В каком случае процесс СУБД будет убит операционной системой из-за перерасхода оперативной памяти и что с этим делать? Чем хорошо когда на одном кластере СУБД одна база, чем плохо когда много баз на одном кластере СУБД? Как быть с ресурсами серверов для сред тестирования и разработки при подходе "1 кластер - 1 база"? Резервное копирование- тонкости разных вариантов снятия бэкапов на PostgreSQL.

В этом докладе я расскажу сразу о нескольких новых возможностях наблюдения за нагрузкой в СУБД. Среди них будут: визуализация истории наблюдений расширений pg_profile/pgpro_pwr с использованием Grafana; активные отчеты pg_profile/pgpro_pwr, позволяющие выполнять подсветку исследуемых объектов в разных секциях отчета; дальнейшее развитие расширенных статистик вакуума в версиях PostgresPro; новый интересный механизм трассировки сессий и запросов в расширении pgpro_stats.

My presentation "Explaining the Postgres Query Optimizer" covers the details of query optimization, optimizer statistics, joins, and indexes. This talk covers 40 other operations the optimizer can choose to handle complex queries, large data sets, and to enhance performance. These include merge append, gather, memoize, and hash aggregate. It explains their purpose and shows queries that can generate these operations.

This is a new talk; draft slides are at https://momjian.us/main/writings/pgsql/beyond.pdf

Исторически PostgreSQL используется для транзакционной (OLTP) нагрузки. На это указывает строчное хранение данных и невозможность (или сложность) в организации распределённого исполнения запросов по канонам MPP (massive parallel processing) систем. Однако вследствие расширяемости ядра PostgreSQL (прежде всего, появления интерфейса подключаемых методов доступа) и либеральной лицензии (сходной с BSD) на свет появились различные форки и расширения, которые позволяют эффективно организовать обработку больших массивов данных для запросов аналитического толка.

В текущем докладе планируется дать исчерпывающий обзор форка Greenplum и расширений Citus и TimescaleDB с точки зрение разработчика по основным признакам (фичам) аналитических СУБД - колоночное хранение, сжатие данных, распределённая обработка и др. Результаты данного обзора будут полезны архитекторам, выбирающим СУБД для аналитики под свою систему.