Опыт внедрения Greenplum в Aviasales

После того как в компании стало копится много данных для анализа перед нами стал вопрос поиска колоночной бд, ибо обычный Postgresql уже не справлялся с объемами. Изучив рынок мы остановились на Greenplum, в докладе я расскажу про то почему мы выбрали именно его, опыт внедрения и эксплуатации и о том как мы делали мониторинг для него

ВИДЕО

Секционирование с pg_pathman

Секционирование в PostgreSQL - давно ожидаемый функционал. И хотя в Postgres возможно реализовать секционирование через наследование, такой подход имеет ряд недостатков, таких как необходимость вручную создавать секции и поддерживать триггеры, значительные накладные расходы на планирование и отсутствие оптимизаций времени выполнения. В докладе мы расскажем про расширение pg_pathman, над которым мы работаем. pg_pathman поддерживает HASH и RANGE секционирование и выполняет оптимизации на этапах планирования и исполнения, поддерживает быструю вставку за счет отказа от триггеров в пользу Custom Node, содержит функции для управления секциями (add, split, merge и др.), поддерживает FDW, неблокирующую миграцию данных и другие возможности. Мы также расскажем об интеграции pg_pathman в PostgresPro Enterprise Edition и поддержку Oracle-подобного синтаксиса для секционирования. В завершение мы расскажем о новых возможностях секционирования в PostgreSQL 10, что реализовано и пути дальнейшего развития.

ВИДЕО

Криптография в реляционных СУБД

При работе с данными существует необходимость криптографической защиты некоторых данных. Презентация описывает некоторые задачи, которые можно решить с помощью криптографии, и правильные подходы к применению криптографии при разработке приложений, использующих СУБД. Отдельно рассказывается от последних результатах, достигнутых в части применения криптографии в PostgreSQL.

ВИДЕО

Динамическая компиляция SQL-запросов в PostgreSQL с использованием LLVM JIT

В данный момент в PostgreSQL для исполнения SQL-запросов применяется интерпретатор, реализующий модель итераторов (Volcano-модель). В то же время можно добиться существенного ускорения, выполняя динамическую компиляцию запроса «на лету». В этом случае можно генерировать код, специализированный для конкретного SQL-запроса, а также применять компиляторные оптимизации, учитывая, что во время выполнения уже известна структура используемых таблиц и типы данных. Такой подход особенно актуален для сложных запросов, скорость выполнения которых ограничена производительностью процессора.