title

text

W
Wiktor Brodło Adjust GmbH Системный администратор
: декабря
45 мин

Bagger: как мы мигрировали 1 PB данных с Elasticsearch на PostgreSQL

В своем выступлении я расскажу о том, как группа сисадминов набила шишки, пытаясь реанимировать петабайтный кластер баз данных Elasticsearch, и в конце концов решила заменить его проверенными технологиями: PostgreSQL, Kafka, немного Redis, много клея, и типичное сисадминское упрямство. Результатом стал Bagger - ответ сисадмина на вызов больших данных. Быстрое, надежное, устойчивое к отказам хранилище, используемое в основном для логирования временных событий. Bagger получил свое имя по названию серии ковшовых экскаваторов, одних из крупнейших наземных транспортных средств, когда-либо производимых человеком. Как эти экскаваторы прокапывают тонны материала, так и наш Bagger способен прокопаться через тонны данных.

Слайды

Видео

Другие доклады

  • Дмитрий Иванов
    Дмитрий Иванов Postgres Professional Developer
    Максим Милютин
    Максим Милютин Wildberries Разработчик/DBA
    45 мин

    Встроенное партицирование в постгресе и сторонние решения

    В 10-й версии постгреса появилось встроенное партицирование таблиц. Однако ставить точку на развитии этого функционала, начало работы над которым ведётся с августа 2015 года, пока рано. В новом 11-ом релизе ведутся несколько параллельных работ по преодолению ограничений встроенного партицирования (update ключа партицирования, вставка в foreign партиции, локальные и глобальные индексы) и внедрение оптимизаций (runtime partition pruning, parallel append нода и partition-wise aggregation/grouping), которые восполнят многолетний пробел в этой области.

    Помимо этого получили развитие сторонние решения для партицирования таблиц - pg_pathman и timescaledb, каждый из которых предоставляет свои дополнительные возможности, отсутствующие в ваниле.

    В своём доклады мы постараемся рассказать про возможности каждого из решений, обрисовать нишу, сделав упор на разрабатываемые фичи в ванильном постгресе.

  • Кирилл Боровиков
    Кирилл Боровиков ООО "Компания "Тензор" Технический директор
    45 мин

    explain.sbis.ru - массовая оптимизация запросов

    Как оптимизировать производительность запросов в PostgreSQL? Как это делать, если серверов - сотни, а баз - тысячи? В "Тензоре" мы разработали для этого отдельный инструмент - explain.sbis.ru: - для синхронного сбора и анализа запросов - для визуализации планов выполнения - для мониторинга ошибок в БД

  • Егор Рогов
    Егор Рогов Postgres Professional эксперт
    90 мин

    Мастер-класс: Больше индексов, хороших и разных

    "Не мог он GIN от SP-GiST-а, как мы ни бились, отличить", говорил классик. А вы можете? Этот мастер-класс посвящен индексам, которые хоть и не так часто используются, как обычное B-дерево, но могут сильно выручить в трудную минуту. Мы посмотрим, как устроены эти индексы и в каких случаях они могут быть успешно применены. Заодно поговорим и об особенностях индексного доступа в PostgreSQL. Чтобы провести время с пользой, от слушателей потребуется некоторое знакомство с PostgreSQL и умение читать планы несложных запросов.

    Материалы мастер-класса

    Резервную копию БД с демонстрационными данными можно скачать тут:

  • Виктор Егоров
    Виктор Егоров Data Egret DBA
    45 мин

    Сравнительный обзор архитектуры PostgreSQL и ORACLE

    Доклад рассмотрит следующие компоненты СУБД PostgreSQL, сравнивая архитектурные решения с СУБД ORACLE:

    1. Что представляет из себя экземпляр работающей базы, какие процессы присутствуют и за что они отвечают?
    2. Какими структурами оперирует база?
    3. Механизм отказоустойчивости.
    4. MVCC механизм и возможности восстановления базы.
    5. Хранение базы на физических носителях.

    Каждое из рассматриваемых решений будет оценено с точки зрения накопленного опыта работы в выбранных СУБД, удобства администрирования и доступных способов развития в будущем.

    Доклад будет интересен:

    • пользователям PostgreSQL, т.к. позволит взглянуть на другую СУБД и её особенности;
    • администраторам PostgreSQL, т.к. ORACLE предлагает большие административные возможности, которые могли бы быть реализованы и в Postgres;
    • разработчикам PostgreSQL, т.к. Postgres активно развивается и этот доклад может задать новые направления развития;
    • желающим перейти с ORACLE (или другой СУБД) на проекты с открытым исходным кодом, т.к. доклад продемонстрирует возможности открытой СУБД Postgres в сравнении с коммерческим продуктом, в котором Postgres выглядит очень достойно!