PGConf.Russia 2025

Greenmask — это open source утилита для анонимизации баз данных и генерации синтетических данных. Классическая задача в разработке — создание тестовых окружений, которые максимально похожи на продакшен. Рассмотрим, как можно применить различные фичи Greenmask для подготовки тестового контура без боли. Обсудим его архитектуру, database subset, типы трансформаций, причины интеграции с драйвером PostgreSQL и портирования некоторых pg-библиотек. Обсудим, как наша технология позволяет бизнесу решать проблемы быстро, качественно и безопасно.

Варианты хранения файлов в СУБД:

• Простые таблицы. 
• Большие объекты pg_largeobject. 
• pgpro_sfile — хранилище больших объектов pgpro_bfile.

При нагрузочном тестировании PostgreSQL бенчмарки замеряют время исполнения запроса (latency). Для более объективного результата запрос выполняется большое количество раз — из этого получается некоторый набор latency. Для оценки производительности PostgreSQL на данном запросе можно использовать стандартные методы, такие как медиана или среднее, но мы предлагаем использовать более комплексный подход. Как показала практика, такие выборки часто бывают мультимодальными и состоят из различных распределений с некоторыми параметрами. 

В таких случаях стандартных методов становится недостаточно, необходимо анализировать составляющие по отдельности. Результатом работы является инструмент, позволяющий автоматически проводить статистический анализ результата бенчмарка с учетом особенностей каждого набора данных, в том числе выявлять мультимодальность, количество и границы преобладания каждой моды, а также параметры распределений.