Postgres как основа BI платформы, особенности, практический опыт

Андрей Фефелов Mastery.pro Технический директор

16:00 16 марта

45 мин

Postgres как основа BI платформы, особенности, практический опыт

В докладе я расскажу почему Postgres отлично подходит как BI платформа для решения классических OLAP-задач.

Будет дан краткий обзор доступных open source BI решений. Расскажу об архитектуре нашего решения (snowflake scheme), как мы делаем Extract Load Transform, настройках Postgres для специфических профилей нагрузки. Также упомяну о том, как мы пытались использовать Postgres в виде колоночной базы данных (cstore_fdw от Citus) и что из этого вышло. В конце доклада кратко расскажу про минусы и проблемы нашего подхода.

ВИДЕО

Слайды

Андрей Бородин Яндекс Разработчик

45 мин
Возможности ускорения GiST: патчи, хаки, твики

В этом докладе будут рассмотрены идеи и их реализации по ускорению различных частей обобщённых поисковых деревьев (GiST) :
1. Внутристраничное индексирование
2. Технология фрактальных деревьев
3. Применение современных алгоритмов индексирования многомерных данных (RR*-дерево)
4. Возможные расширения интерфейса GiST
ВИДЕО
Материалы к докладу
Филипп Дельгядо ООО «Лектон» архитектор департамента

22 мин

Особенности реализации распределенного workflow на PostrgeSQL

При реализации сложной бизнес-логики часто возникает необходимость в реализации workflow - цепочки обработки из нескольких шагов, каждый из которых представляет из себя независимый кусочек бизнес-логики. Обычно для этого используются специализированные очереди, но при высоких требованиях к надежности имеет смысл все сделать на PostgreSQL.

Материалы к докладу
Михаил Тюрин ИТ предприниматель предприниматель

22 мин
Лок, лок – дедлок!
```
< Query failed: ERROR: deadlock detected
< DETAIL: Process 17371 waits for ShareLock on transaction 102733872; blocked by process 10414.
< Process 10414 waits for ShareLock on transaction 102733874; blocked by process 17371.
```
Подобные "неприятные" сообщения от сервера могут серьезно озадачить разработчика. При работе с блокировками, в частности, и с транзакциями в целом, следует учитывать особенности реализации клиентских библиотек, которые могут вызывать описанное выше исключение.

В кратком докладе-сообщении будет объяснена механика взаимодействия блокировок, приводящая к ситуации дедлока; приведены ссылки на документацию; разобрана техника "обхода" данной проблемы конкурентной работы с данными; показаны обобщенные приемы из практики.
Материалы к докладу
Дмитрий Белобородов UIS, CoMagic Технический директор

45 мин

Опыт использования PostgreSQL в проектах UIS, CoMagic

Мы используем PostgreSQL с 2003 года и прошли путь от базы в пару гигабайт до кластера с текущим размером более 5Тб. Текущие кол-во таблиц > 700, число хранимых процедур ~1500. Чем готовы поделиться: - рассказать о проблемах, с которыми пришлось сталкиваться на разных этапах развития и найденными решениями - наработанными практиками администрирования - мы работаем с несколькими базами, которые тесно связаны друг с другом, используем для этого свое расширение - у нас работает несколько команд, и есть выработанная методика и инструменты, которые позволяют им не мешать друг другу - мы используем много различных стендов для тестирования, готовы рассказать по какому принципу и как мы их поднимаем - ну, и конечно, про оптимизацию, поиск узких мест и ситуаций, с которыми нам приходится сталкиваться при нагрузках

ВИДЕО

Материалы к докладу