Кейсы использования логической репликации для восстановления данных в PostgreSQL 10
В Avito объявления хранятся в базах данных PostgreSQL. При этом уже на протяжении многих лет активно применяется логическая репликация. С помощью неё успешно решаются вопросы роста объема данных и количества запросов к ним, масштабирования и распределения нагрузки, доставки данных в DWH и поисковые подсистемы, межбазные и межсервисные синхронизации данных и пр.
Но ничего не бывает "бесплатно" - на выходе мы имеем сложную распределенную систему. Отказы оборудования - это норма, к ним нужно быть готовым. Можно найти много примеров конфигурации логической репликации и success stories ее использования, при этом практических примеров по восстановлению после аварий почти нет, не говоря уже про готовые инструменты. За годы эксплуатации репликации PgQ мы наработали обширный опыт, многое переосмыслили, реализовали собственные надстройки и расширения для восстановления и согласования данных после аварий в распределенных системах обработки данных.
В докладе мы покажем, как наш опыт можно переложить на новую подсистему логической репликации в 10-ке. В текущей реализации это нетривиальные решения – остается ряд вопросов для комьюнити, сводящихся к реализации простых механизмов восстановления - таких же простых как и настройка репликации в 10-ке.
Слайды
Видео
Другие доклады
-
45 мин
Андрей Зубков ООО "Пармалогика" Администратор баз данныхИнструмент анализа исторической нагрузки или "AWR для Postgres"
Администратор баз данных регулярно сталкивается с необходимостью поиска проблемных запросов в своих базах данных. Для оперативного поиска хорошо подходит PGCenter, но что делать если проблемы производительности наблюдались в прошлом? В этом докладе я хочу поделиться своим опытом разработки и применения инструментария, позволяющего производить ретроспективный анализ нагрузки запросов в базах данных PostgreSQL - pg_profile
-
45 мин
Дмитрий Павлов Arenadata Big Data solutions Senior ConsultantДрессируем Greenplum
С необходимостью завести в корпоративном IT-ландшафте аналитическую СУБД сталкивается большинство компаний, чей бизнес так или иначе затрагивает информационные технологии. В докладе я расскажу о самых главных нюансах развёртывания и эксплуатации распределённой аналитической open-source СУБД, основанной на PostgreSQL - Greenplum, разберу типичные ошибки при её использовании, приведу best practices и обращу внимание на тонкие места.
-
45 мин
Александр Алексеев Postgres Professional Software DeveloperPostgreSQL и пожатые документы
Одно из преимущество документо-ориентированных баз данных, таких как MongoDB и Cochbase, перед РСУБД заключается в возможности изменять схему данных легко, быстро и часто. Традиционный подход мира РСУБД заключается в использовании дорогостоящего ALTER TABLE, медленной миграции существующих данных, и подобных вещей. Этот подход часто слишком медлен и неудобен для разработчиков приложений.
Для решения описанной проблемы PostgreSQL предоставляет типы JSON и JSONB. Также существуют расширения zson, pg_protobuf и другие. Из этого доклада вы узнаете, как пользоваться описанными решениями, каковы их сильные и слабые стороны, и т.д. Также вы узнаете о связанных работах, которые сейчас находятся в процессе.
-
45 мин
Александр Погодин Корпорация ПАРУС, МГОТУ руководитель отделаААлександр Панкратов НПЦ Парус Генеральный директорТехнология миграции тиражных клиент-серверных приложений с СУБД Oracle в СУБД PostgreSQL: Принципы, подходы и особенности
В докладе рассматриваются подходы и варианты реализации миграции клиент-серверного приложения Парус-Бюджет 8 с платформы Oracle Database на платформу PostgreSQL без изменения клиентского приложения для Desctop и Web. Предлагаемое решение позволяет осуществить прозрачный переход существующих пользовательских рабочих мест.