PGConf.Russia 2025

На одном из моих прошлых мест работы мы довели ElasticSearch до предела его возможностей. Нам потребовалась еще более масштабируемая альтернатива для системы с высокой нагрузкой на запись и редкими чтениями. Мы построили такую систему на PostgreSQL. Теперь многие из нас работают над ее преемником как над опенсорсным проектом.

Этот доклад расскажет о дизайне Bagger (названного в честь гигантских горнодобывающих машин), который способен управлять логами объёмом в десятки и сотни петабайт. Помимо обзора архитектуры, расскажем о причинах выбора решений и компромиссах, которые пришлось учитывать при проектировании.

Доклад не только продемонстрирует гибкость и мощность PostgreSQL, но и проиллюстрирует фундаментальные компромиссы, неизбежные при работе с большими данными.

В центре внимания — проблемы построения прикладного решения на PostgreSQL, а именно высоконагруженного аналитического хранилища данных. На примере кейса компании ЕВРАЗ покажем эффект применения методологии Data Vault на СУБД PostgreSQL и Greenplum для разработки единой системы производственных показателей.

Расскажем о сложностях и решениях – демонстрация вариантов, планов запросов на задачах обновления справочников и других больших объектов, примеры оптимизаций. Покажем нюансы кода – проблемы заполнения модели и проблемы выборки из модели.

Это будет интересно всем, кто планирует использовать или уже сталкивается со сложностями применения методологии Data Vault и проблемами производительности DWH на стеке open source. Сравним варианты технической реализации модельного слоя business vault с учётом специфики PostgreSQL и Greenplum. Рассмотрим 5 реальных проблем, возникающих при эксплуатации DWH и их решение:

1.     Перенос логики сборки объектов Business Vault с PostgreSQL на Greenplum.

2.     Замедление ETL при сборке текущего состояния Business Vault в PostgreSQL.

3.     Замедление построения Data Lineage в PostgreSQL и Greenplum.

4.     Медленная работа при запросе сателлита в Greenplum.

5.     Медленные запросы с «in» или «or» при обращении к слою Business Vault.

pgpro_redefinition — доработки за год.

На прошлой конференции PgConf мы представили наше новое расширение pg_uprobe. Мы выложили это расширение в открытый доступ и хотим показать, что в нём нового и как им пользоваться.
В рамках мастер-класс вы узнаете:
    • В каких случаях может пригодиться это расширение
    • Как установить и настроить расширение
    • Как включить трассировку запросов
    • Как профилировать функции PostgreSQL
    • Как анализировать полученный отчёт

Пожелание к слушателю:
    • Linux или установленный Docker
    • Установленный PostgreSQL 16, если Linux