title

text

Christopher Travers
Christopher Travers DeliveryHero SE Principle Engineer
17:30 05 февраля
45 мин

Introducing Bagger: Massive Application Log Management on PostgreSQL

This talk discusses the open source components we use at Adjust to manage a massive number (5+PB) of application log messages on PostgreSQL in a massively multi-parallel way. It provides both a use case for PostgreSQL in a big data (high volume/velocity/variety) environment, and can be used to show the power of PostgreSQL with JSONB, GIN, and more.

This talk covers the capabilities of the components in depth, sufficient to inspire similar solutions.

Слайды

Видео

Другие доклады

  • Антон Дорошкевич
    Антон Дорошкевич ИнфоСофт Руководитель ИТ
    Федор Сигаев
    Федор Сигаев Postgres Professional технический директор, ведущий разработчик PostgreSQL
    45 мин

    Что "мир 1С" ждёт от PostgreSQL

    Одну из самых массовых ветвей распространения PostgreSQL в России занимает 1С. В докладе хотел бы поделиться мыслями о том, чего не хватает в PostgreSQL по мнению тех, кто работает с 1С.

  • Павел Конотопов
    Павел Конотопов inCountry DBA team lead
    Леонид Альбрехт
    Леонид Альбрехт InCountry DBA
    45 мин

    Строим энтерпрайз инфрастуктуру с PostgreSQL, как основу для системы хранения персональных данных

    В своем докладе я расскажу, как мы строили географически распределенную систему хранения персональных данных на основе Open Source ПО и PostgreSQL. Концепция бизнеса «inCountry» состоит в предоставлении клиентам готовой к использованию инфраструктуры для хранения персональных данных. Чтобы пользователи были уверены в том, что персональные данные, которыми они оперируют, попадают в страну их происхождения и хранятся там безопасно, не пересекая границ государства, мы написали API и построили разнообразные сервисы. Наша система соответствуют общепринятым стандартам безопасности (SOC Type 1, Type 2, PCI DSS и т.д.). Мы строили нашу инфраструктуру с помощью Consul, Nomad и Vault, использовали PostgreSQL, ElasticSearch как системы хранения, Nginx, Jenkins, Artifactory, средства для автоматизации управления и развертывания. Собрали команду разработки, команды управления – DevOps, Security, мониторинга и DBA. Мы используем как облачных провайдеров, так и bare-metal сервера, расположенные в разных регионах мира. Разработка архитектуры системы и обеспечение устойчивости инфраструктуры, согласованной и безопасной работы всех ее компонент – главная задача, которая стоит перед нашими командами.

  • Александр Спирин
    Александр Спирин Лига Цифровой Экономики DBA
    Кирилл Калистратов
    Кирилл Калистратов InCountry Senior Performance Engineer
    22 мин

    PostgreSQL Citus vs MongoDB sharded

    Мы хотим поделиться структурой и результатами теста (производительности и не только), в котором участвовали PostgreSQL/Citus и MongoDB для данных нашей компании. Это был весьма увлекательный процесс с неожиданными поворотами и неоднозначным результатом.

  • Федор Сигаев
    Федор Сигаев Postgres Professional технический директор, ведущий разработчик PostgreSQL

    Postgres Pro Enterprise

    Рассказ об основных фичах, отличающих Enterprise-версию Postgres Pro, представленный их разработчиком.