title

text

W
Wiktor Brodło Adjust GmbH Системный администратор
10:00 07 февраля
45 мин

Bagger: как мы мигрировали 1 PB данных с Elasticsearch на PostgreSQL

В своем выступлении я расскажу о том, как группа сисадминов набила шишки, пытаясь реанимировать петабайтный кластер баз данных Elasticsearch, и в конце концов решила заменить его проверенными технологиями: PostgreSQL, Kafka, немного Redis, много клея, и типичное сисадминское упрямство. Результатом стал Bagger - ответ сисадмина на вызов больших данных. Быстрое, надежное, устойчивое к отказам хранилище, используемое в основном для логирования временных событий. Bagger получил свое имя по названию серии ковшовых экскаваторов, одних из крупнейших наземных транспортных средств, когда-либо производимых человеком. Как эти экскаваторы прокапывают тонны материала, так и наш Bagger способен прокопаться через тонны данных.

Слайды

Видео

Другие доклады

  • Дмитрий Шитов
    Дмитрий Шитов ООО "ЦТП" специалист
    22 мин

    Хроники 1Сников: миграция с Windows+1С+PostgreSQL на Linux+1C+PostgreSQL

    Во что может вылиться желание не платить за винду 1С-нику? Есть ли жизнь без COM-а (консоли сервера 1С нет, но есть RAS; ODBC из 1С как вызывать)? Гарем постгресов, адресация и нюансы. i9-7900x и Linux, жизнь без turboboost 3. Планирование дисковых ресурсов. Как побороли падения OC CentOS.

  • Иван Панченко
    Иван Панченко Postgres Professional рзаместитель генерального директора
    90 мин

    Полнотекстовый поиск: от A до Ω

    Мастер-класс о том, как правильно организовать полнотекстовый поиск в Postgres, с учетом последних новинок. Все рецепты для создания готового приложения: конфигурация словарей, индексы, фасетный поиск, многоязыковой поиск, нечеткий поиск, подсказки, ранжирование. Участники мастер-класса получат тестовую базу данных, на которой смогут проделать все нужные упражнения.

  • Алексей Лесовский
    Алексей Лесовский Data Egret PostgreSQL DBA
    45 мин

    Давайте отключим vacuum?!

    Такой призыв часто возникает, когда в PostgreSQL возникают проблемы, и главным подозреваемым оказывается vacuum. По опыту, многие наступают на эти грабли, и мне с коллегам по Data Egret нередко приходится разгребать последствия, так как потом всё становится ещё хуже. Но если обратить внимание на сам vacuum, то, пожалуй, нет такого человека, который бы использовал Postgres, и при этом ничего не знал про вакуум. Ведь история вакуума начинается относительно давно, и в интернете можно найти массу как старых, так и новых постов про вакуум, объемные дискуссии в списках рассылки. Несмотря на то, что тема вакуума подробно описана в официальной документации к PostgreSQL, новые посты и новые дискуссии будут появляться и дальше. Возможно, поэтому с вакуумом связано очень много мифов, баек, страшилок и заблуждений. Между тем, вакуум является одним из важнейших компонентов PostgreSQL, и его работа напрямую сказывается на производительности. В одном докладе невозможно рассказать про вакуум абсолютно всё, но я бы хотел раскрыть ключевые моменты, связанные с вакуумом, такие как его внутреннее устройство, основные подходы к его настройке, наблюдение за производительностью, мониторинг, и что делать в случае, когда вакуум - главный подозреваемый во всех бедах. Ну и, конечно же, хочется развеять распространенные мифы и заблуждения, связанные с вакуумом.

  • Николай Рыжиков
    Николай Рыжиков Health Samurai CTO
    45 мин

    Использование PostgreSQL и Сlojure для разработки приложений, ориентированных на работу с базами данных

    Если честно взглянуть на большинство наших бизнес-приложений, то они через провод собирают данные в базу и раздают их в обратном направлении. Что, если не пытаться воздвигать стену абстракций между приложением и базой данных (ORM), а постараться использовать их симбиоз - сильные стороны и индивидуальные особенности.

    Я расскажу как мы используем postgresql и clojure для создания data intensive приложений для медицины.

    • functional relational programming
    • jsonb для моделирования сложной предметной области
    • функциональные индексы и расширение json-knife для поиска в jsonb
    • реализация graphql на postgres
    • logical replication для построения реактивных интеграций
    • асинхронный JDBC-free коннектор к postgresql на netty