PGConf.Russia 2025

В центре внимания — проблемы построения прикладного решения на PostgreSQL, а именно высоконагруженного аналитического хранилища данных. На примере кейса компании ЕВРАЗ покажем эффект применения методологии Data Vault на СУБД PostgreSQL и Greenplum для разработки единой системы производственных показателей.

Расскажем о сложностях и решениях – демонстрация вариантов, планов запросов на задачах обновления справочников и других больших объектов, примеры оптимизаций. Покажем нюансы кода – проблемы заполнения модели и проблемы выборки из модели.

Это будет интересно всем, кто планирует использовать или уже сталкивается со сложностями применения методологии Data Vault и проблемами производительности DWH на стеке open source. Сравним варианты технической реализации модельного слоя business vault с учётом специфики PostgreSQL и Greenplum. Рассмотрим 5 реальных проблем, возникающих при эксплуатации DWH и их решение:

1.     Перенос логики сборки объектов Business Vault с PostgreSQL на Greenplum.

2.     Замедление ETL при сборке текущего состояния Business Vault в PostgreSQL.

3.     Замедление построения Data Lineage в PostgreSQL и Greenplum.

4.     Медленная работа при запросе сателлита в Greenplum.

5.     Медленные запросы с «in» или «or» при обращении к слою Business Vault.

Уже больше года в выпусках Postgres Pro доступны расширенные статистики вакуума, которые отражают его работу на уровне отдельных отношений.

 К нам начали попадать наблюдения, полученные на «боевых» базах клиентов с этими статистиками. Получилось удачно, в 2024 году мы активно начали продвигать статистики вакуума в PostgreSQL, а пока на примере данных, полученных с «живых» систем, рассмотрим, что могут рассказать нам эти статистики о непростой жизни вакуума.

Карта видимости в PostgreSQL — это важный механизм для оптимизации работы с базой данных, который ускоряет операции чтения, очистки данных и индексации. Несмотря на некоторые ограничения, такие как потребление памяти и фрагментация, её использование позволяет значительно повысить производительность в высоконагруженных системах. Эффективное использование карты видимости требует правильной настройки и мониторинга, что особенно важно в системах с большим объёмом данных и высокой параллельностью транзакций.

В прошлом году мы сделали встроенную поддержку отказоустойчивости в Postgres Pro Enterprise — BiHA. Наше решение позволяет разворачивать отказоустойчивый кластер Postgres, в котором в случае сбоя пишущего узла новый пишущий узел (лидер) будет выбран автоматически.

При этом возникает проблема перенаправления трафика на нового лидера. Её можно решить с помощью нашего расширения Proxima или внешнего TCP-прокси сервера. И первое, и второе решение были вынуждены периодически опрашивать кластер BiHA для определения пишущего узла.

Как альтернатива, в новой версии BiHA появилась возможность зарегистрировать пользовательские функции, которые будут вызваны при возникновении таких событий в кластере, как смена лидера, добавление/удаление ноды и других. Этот механизм мы назвали пользовательские колбэки. В докладе мы расскажем, как реализованы колбэки и обсудим особенности их использования