title

text

Анатолий Солдатов
Анатолий Солдатов Компания - ЗАО ЛАНИТ Старший разработчик баз данных
16:45 06 февраля
22 мин

Как деплоить в 5 раз быстрее или рассказ о нашей реализации параллельного выполнения миграций в Liquibase

Liquibase - очень удобный инструмент последовательных миграций баз данных, используемый как на наших проектах, так и в большом числе других проектов и фреймворков. Он позволяет держать код базы вместе с кодом приложения в VSC, отслеживать попытки повторных миграций и много-много чего еще. Но рано или поздно проект вырастает, данные занимают терабайты, а liquibase все еще накатывает миграции последовательно.

Мы не смогли позволить себе деплоиться по 100 часов и придумали тулзу (фреймворк) для liquibase, которая расширяет его возможности и позволяет выполнять паралллельно целый ряд скриптов или разбивать одну большую миграцию на маленькие партиции и параллельно мигрировать их.

слайды

Видео

Другие доклады

  • Виктор Егоров
    Виктор Егоров Data Egret DBA
    45 мин

    Сравнительный обзор архитектуры PostgreSQL и ORACLE

    Доклад рассмотрит следующие компоненты СУБД PostgreSQL, сравнивая архитектурные решения с СУБД ORACLE:

    1. Что представляет из себя экземпляр работающей базы, какие процессы присутствуют и за что они отвечают?
    2. Какими структурами оперирует база?
    3. Механизм отказоустойчивости.
    4. MVCC механизм и возможности восстановления базы.
    5. Хранение базы на физических носителях.

    Каждое из рассматриваемых решений будет оценено с точки зрения накопленного опыта работы в выбранных СУБД, удобства администрирования и доступных способов развития в будущем.

    Доклад будет интересен:

    • пользователям PostgreSQL, т.к. позволит взглянуть на другую СУБД и её особенности;
    • администраторам PostgreSQL, т.к. ORACLE предлагает большие административные возможности, которые могли бы быть реализованы и в Postgres;
    • разработчикам PostgreSQL, т.к. Postgres активно развивается и этот доклад может задать новые направления развития;
    • желающим перейти с ORACLE (или другой СУБД) на проекты с открытым исходным кодом, т.к. доклад продемонстрирует возможности открытой СУБД Postgres в сравнении с коммерческим продуктом, в котором Postgres выглядит очень достойно!

  • Олег Бартунов
    Олег Бартунов Postgres Professional генеральный директор
    Александр Коротков
    Александр Коротков Postgres Professional Руководитель разработки
    Федор Сигаев
    Федор Сигаев Postgres Professional технический директор, ведущий разработчик PostgreSQL
    45 мин

    Что нам ждать в PG 11?

    10-я версия получилась богатой на новые фичи, но что же нас ожидает в новой 11 версии?

    Мы расскажем последние новости из мира разработчиков постгреса, а именно: новые фичи, улучшения и развитие старых, прорывные разработки. Не все из них видны простому пользователю, но мы постараемся представить разработки ядра постгреса в простом и доступном виде.

  • Дмитрий Кремер
    Дмитрий Кремер МИА "Россия Сегодня" Администратор баз данных
    22 мин

    Особенности мониторинга и траблшутинга высоконагруженной БД PostgreSQL

    База данных - один из ключевых компонентов в любой информационной системе, требующий мониторинга множества метрик. В докладе освещены примеры и подходы мониторинга и анализа производительности PostgreSQL, которые позволяют минимизировать нагрузку на сервер баз данных со стороны системы мониторинга и сбора данных для последующего анализа проблемных ситуаций:

    • Квантовые эффекты или как наблюдатель влияет на наблюдаемую систему
    • Особенности сбора метрик при мониторинге БД с помощю Zabbix
    • Сбор данных для аналитики и визуализации запросов PostgreSQL с помощью rsyslog + kafka + clickhouse + grafana.
    • Инструменты оперативного анализа лог-файлов БД

  • Максим Милютин
    Максим Милютин Wildberries Разработчик/DBA
    Дмитрий Иванов
    Дмитрий Иванов Postgres Professional Developer
    45 мин

    Встроенное партицирование в постгресе и сторонние решения

    В 10-й версии постгреса появилось встроенное партицирование таблиц. Однако ставить точку на развитии этого функционала, начало работы над которым ведётся с августа 2015 года, пока рано. В новом 11-ом релизе ведутся несколько параллельных работ по преодолению ограничений встроенного партицирования (update ключа партицирования, вставка в foreign партиции, локальные и глобальные индексы) и внедрение оптимизаций (runtime partition pruning, parallel append нода и partition-wise aggregation/grouping), которые восполнят многолетний пробел в этой области.

    Помимо этого получили развитие сторонние решения для партицирования таблиц - pg_pathman и timescaledb, каждый из которых предоставляет свои дополнительные возможности, отсутствующие в ваниле.

    В своём доклады мы постараемся рассказать про возможности каждого из решений, обрисовать нишу, сделав упор на разрабатываемые фичи в ванильном постгресе.