GreenHouseSQL - масштабируемая система аналитики на postgresql, greenplum и clickhouse
На pgconf’17 я рассказывал про нашу велосипедную систему аналитики на основе PostgreSQL. После этого мы посматривали в сторону хадупов, s3, престо, друидов, вертики, пентахо и прочих страшил. А потом перестали cтрадать и сомневаться и просто добавили к постгресу готовые Greenplum и Clickhouse. Получив в итоге потрясающую скорость, простую миграцию, простое обслуживание, надежность и горизонтальное масштабирование, восстановление после сбоев в две команды, уменьшение костов на инфрастуктуру и широкие функциональные возможности за счет сочетания ANSI SQL, MPP и In-memory. Оставаясь в парадигме Open-source и полноценного SQL. В итоге у нас получилось то, что мы назвали GreenHouseSQL - наша внутренняя платформа данных полного цикла. В докладе вскроем простоту внутренностей решения и рассмотрим компоненты стека под микроскопом, расскажем об их достоинствах и недостатках, фишках начала работы с Greenplum, зачем нам Clickhouse, что осталось PostgreSQL'у и как вообще все это работает.
Слайды
Видео
Другие доклады
-
90 мин
Андрей Фефелов Mastery.pro Технический директорПростой отказоустойчивый кластер на postgres, patroni, consul, s3, walg, ansible
Patroni становится де-факто стандартом для построения отказоустойчивых кластеров Постгрес.
В мастер-классе мы построим простой отказоустойчивый кластер из 3х нод на перечисленном стеке (на первый взгляд не выглядит простым).
Мы кратко познакомимся с архитектурой patroni, обсудим наиболее интересные параметры конфигураций.
Посмотрим как работает файловер и какими способами можно проинициализировать кластер.
После мастер-класса вы сможете запустить такой кластер с нуля, используя предоставленные плейбуки ansible.
-
45 мин
Андрей Бородин Яндекс РазработчикРезервные копии с WAL-G. Что там в 2019?
Доклад будет состоять из 3 частей: 1. Экспресс-настройка PITR в Облако 2. Последние доработки бекапостроения в WAL-G 3. Почему это может быть нужно или вредно для вашего типа требований и нагрузки.
-
45 мин
Александр Коротков Postgres Professional Руководитель разработкиЧто PostgreSQL 12 нам готовит?
"Заморозка разработки" (feature freeze) PostgreSQL 12 запланирована на апрель 2019, который ещё не настал. Но контуры будущего релиза уже проступают. В данном доклае я расскажу о том, что уже попало в PostgreSQL 12, а также о том что с большой вероятностью может туда попасть. С особым пристрастием расскажу про SQL/JSON, Merge, pluggable table access methods и zheap.
-
22 мин
Федор Сигаев Postgres Professional технический директор, ведущий разработчик PostgreSQLВперед в прошлое
Иной раз есть большое желание вернуть базу данных в прошлое, на день, два или несколько дней. Причины самые разные, но чаще всего: посмотреть, что поменялось, приложение после обновления повело себя некорректно, повеление свыше сделать как вчера. Классический способ все знают - держим опорные резервные копии и наборы WAL-логов для возможности восстановления на произвольный момент. И такой способ - головная боль для DBA/администраторов и быстро не делается. Безусловно, есть способы несколько оптимизировать этот процесс, но без downtime это не обходится. PostgresPro предлагает новый способ - снапшоты или снимки состояния БД и возможность вернуться к ним.