Greenplum: внутреннее устройство MPP PostgreSQL для аналитики
PostgreSQL архитектурно является классической вертикально-масштабируемая СУБД для OLTP нагрузок. Параллельно с PostgreSQL много лет существует его альтернативная горизонтально-масштабируемая MPP версия Greenplum, заточенная под большие данные и OLAP нагрузку. В докладе будет рассказано про внутреннее устройство Greenplum (распределенные транзакции, шардирование данных, секционирование с гибридным хранением во внешних системах, колоночные движки хранения со сжатием и много другое), проведено сравнение с внутренним устройством PostgreSQL и показаны области применения каждого решения.
Слайды
Видео
Другие доклады
-
Николай Рыжиков Health Samurai CTOММарат Сурмашев Health Samurai Программист
Эксплуатация JSONB
JSONB в PostgreSQL обладает рядом интересных свойств, которые могут пригодиться при проектировании и разработке бизнес-систем с тяжелой предметной областью, помогая бороться со сложностью и вариабельностью. На мастер-классе мы обсудим преимущества и недостатки использования JSONB. На примере открытой медицинской базы данных - fhirbase - мы с вами:
- загрузим синтетические медицинские данные в PostgreSQL
- научимся искать и индексировать эти данные (gin, jsquery, json-knife)
- посмотрим, как использовать JSON агрегацию для постороения сложных запросов (GraphQL)
- покажем, как эти данные можно модифицировать и валидировать
- поговорим об архитектурных последствиях использования JSONB
Технические требования:
- docker
- docker-compose
-
Андрей Фефелов Mastery.pro Технический директор
Простой отказоустойчивый кластер на postgres, patroni, consul, s3, walg, ansible
Patroni становится де-факто стандартом для построения отказоустойчивых кластеров Постгрес.
В мастер-классе мы построим простой отказоустойчивый кластер из 3х нод на перечисленном стеке (на первый взгляд не выглядит простым).
Мы кратко познакомимся с архитектурой patroni, обсудим наиболее интересные параметры конфигураций.
Посмотрим как работает файловер и какими способами можно проинициализировать кластер.
После мастер-класса вы сможете запустить такой кластер с нуля, используя предоставленные плейбуки ansible.
-
Джошуа Дрейк Command Prompt, Inc. Pioneer
Репликация Postgres на практике
В ходе данного мастер-класса мы обсудим потоковую и логическую репликацию с точки зрения практика, включая вопросы нативных технологий репликации Postgres, конфигурации и управления ими. Мы также обсудим производительность и недостатки различных архитектур, таких как sync vs async и пр. По итогам слушатели смогут провести конфигурацию развертывания базовой репликации с HOT Standby, а также приобретут понимание других технологий, таких как Point in Time Recovery и каскадная репликация.
-
Федор Сигаев Postgres Professional технический директор, ведущий разработчик PostgreSQL
Малоизвестные, но достойные расширения Постгреса
Постгрес хорошо известен своей расширяемостью, которая делает его универсальным и пригодным практически для любого проекта. Многие расширения хорошо известны и широко используются, как, например, PostGIS - фактический стандарт для open sourc'ных ГИС, или hstore - расширение для хранения данных "ключ-значение". Я расскажу о менее известных, но очень полезных расширениях, которые дают полезную функциональность и/или повышают производительность.
Благодаря наличию API для создания расширений, их может разрабатывать программист без компетенции "ядерного" разработчика, и создавать в них свои функции, типы данных, операторы, индексы, и даже методы доступа (знаете, что это?)
Для этого доклада из сотен расширений я выбрал два:
- VOPS - заметно улучшает производительность OLAP-запросов с помощью векторных операций,
- pg_variables - обеспечивающее сессионные переменные, которые можно использовать в том числе и на read-only репликах