PGConf.Russia 2025

Каждый день тысячи инженеров прилагают нечеловеческие усилия, чтобы сделать наши данные более достоверными, точными и актуальными. Однако, иногда необходимо поступить наоборот — испортить их. 

Например, скрыть или заменить чувствительные данные, а иногда даже сгенерировать их с чистого листа, сохранив при этом бизнес-свойства данных. Это может понадобиться для тестирования систем, передачи данных третьим лицам и в других случаях. И, оказывается, это тоже достаточно сложная задача (учитывая сложность схемы данных и нетривиальные бизнес-требования).

В докладе рассмотрим основные проблемы искусственных данных и попробуем их решить разными способами, используя встроенные возможности PostgreSQL и сторонние расширения

Postgres Professional в 2024 году выпустила новый инструмент сбора данных с PostgreSQL на базе технологий и стандарта OpenTelemetry — pgpro-otel-collector.

 В докладе я расскажу, почему мы выбрали OpenTelemetry, какие возможности представлены в pgpro-otel-collector и как эти возможности позволяют решать задачи сбора телеметрии в инфраструктуре мониторинга.

При нагрузочном тестировании PostgreSQL бенчмарки замеряют время исполнения запроса (latency). Для более объективного результата запрос выполняется большое количество раз — из этого получается некоторый набор latency. Для оценки производительности PostgreSQL на данном запросе можно использовать стандартные методы, такие как медиана или среднее, но мы предлагаем использовать более комплексный подход. Как показала практика, такие выборки часто бывают мультимодальными и состоят из различных распределений с некоторыми параметрами. 

В таких случаях стандартных методов становится недостаточно, необходимо анализировать составляющие по отдельности. Результатом работы является инструмент, позволяющий автоматически проводить статистический анализ результата бенчмарка с учетом особенностей каждого набора данных, в том числе выявлять мультимодальность, количество и границы преобладания каждой моды, а также параметры распределений.

Бывает, что бизнес-логика реализована в БД. При этом всем известно, что поддержка и разработка бизнес-логики идёт намного проще, если она покрыта тестами. В свою очередь тесты бэка считают БД внешним ресурсом и не всегда работают с «живой» БД. В этом докладе будет рассмотрена доработанная библиотека pgTap. Эта разработка может организовать не только юнит-тестирование и CI кода в БД, но даже ускорит саму разработку.