Встроенный шардинг: текущее состояние и будущее

Шардингом базы данных называют распределение данных по большому количеству серверов для повышения производительности при работе с большими объемами данных. С появлением технологии Foreign Data Wrappers (FDW), стало возможным рассматривать шардинг в постгресе при разумном объеме изменений программного кода. Я занимаюсь улучшением инфраструктуры FDW, в т.ч. наследованием внешних таблиц и push-down запросов, что позволяет постгресу эффективно исполнять распределенные запросы через FDW. В этом докладе мы рассмотрим шардинг на FDW и его сценарии использования, затем я продемонстрирую, как организовать шардинг, и покажу, что для этого было сделано в постгресе. В заключение мы рассмотрим основные планы на будущее - в первую очередь, это асинхронное исполнение запросов и поддержка распределенных транзакций.

Postgres как основа BI платформы, особенности, практический опыт

В докладе я расскажу почему Postgres отлично подходит как BI платформа для решения классических OLAP-задач.

Будет дан краткий обзор доступных open source BI решений. Расскажу об архитектуре нашего решения (snowflake scheme), как мы делаем Extract Load Transform, настройках Postgres для специфических профилей нагрузки. Также упомяну о том, как мы пытались использовать Postgres в виде колоночной базы данных (cstore_fdw от Citus) и что из этого вышло. В конце доклада кратко расскажу про минусы и проблемы нашего подхода.

ВИДЕО

Сборка PostgreSQL из исходников для системных администраторов

• зачем собирать PostgreSQL из исходников?
• выбор опций сборки
• зависимости
• создание системного окружения
• базовые настройки Linux для работы PostgreSQL
• дополнительное ПО, облегчающее жизнь администратора PostgreSQL

ВИДЕО

Опыт внедрения Greenplum в Aviasales

После того как в компании стало копится много данных для анализа перед нами стал вопрос поиска колоночной бд, ибо обычный Postgresql уже не справлялся с объемами. Изучив рынок мы остановились на Greenplum, в докладе я расскажу про то почему мы выбрали именно его, опыт внедрения и эксплуатации и о том как мы делали мониторинг для него

ВИДЕО