title

text

Peter  van Hardenberg
Peter van Hardenberg
10:00 05 февраля
45 мин

Мега-масштабирование PostgreSQL: Советы от работающих с 10^6 баз данных

Heroku Postgres is a cloud database service and the largest provider of PostgreSQL as a service anywhere. We operate more than 1,000,000 PostgreSQL databases with a team of about 10 people. We may be the most efficient DBAs in history, with approximately 100,000 databases per person on our team! This talk will introduce the opportunity and challenges of building and operating a cloud database service, as well as discussing the strategies we use to build, operate, and scale this product and team for the last six years now. We will include details about

  • a brief introduction to the service to provide context
  • strategies to design and build such a data service
  • operational war stories like how to recover from losing thousands of servers at once,
  • common challenges users have with Postgres
  • and a basic overview of the technical architecture

This is a complementary talk to Will Leinweber's talk, which will go into much more depth on the architecture of the software we have written.

слайды

Видео

Другие доклады

  • Дмитрий Васильев
    Дмитрий Васильев
    45 мин

    Масштабируемость PostgreSQL

    В докладе рассказывается о результатах тестирования производительности PostgreSQL на современных Hi-End серверах. Основное внимание было уделено блокировкам для доступа к разделяемым данным и связанными с этим узкими местами. Целью тестирования было проверить пределы линейного read scalability при увеличении количества ядер выделяемых для PostgreSQL. Тестирование проводилось для различных версий БД (9.4, 9.5, 9.6), чтобы проверить нововведения, призванные повысить производительность на многопроцессорных архитектурах.

  • Владимир Сердюк
    Владимир Сердюк
    22 мин

    Как построить высокоэффективную (гео)распределённую ИТ-систему при любых каналах связи?

    У вас есть распределенная ИТ-система, в ней много узлов, НО:

    • Недостаточная оперативность обмена. Задержка синхронизации – часы или дни?
    • Помехи пользователям: блокировки во время выполнения обмена?
    • Слабая управляемость - статус обмена всех узлов не ясен;
    • Низкая стабильность обмена, необходимость ручного управления?

    DBReplicaton - технология высокоскоростного обмена данными между базами PostgreSQL. В данном докладе представлено решение, работающее уже в десятках средних и крупных компании России (>2500 активных пользователей, >20 узлов обмена), которое обладает: - Собственной транспортной подсистемой; - Централизованным единым интерфейсом управления и контроля за обменом; - Двусторонним обменом: возможностью работать с данными на изменение во всех узлах, участвующих в обмене; - Высокой скоростью обмена (от 2 секунд).

    Дополнительно будет рассказано о необычном применении репликации в различных бизнес-системах.

  • Д
    Денис Иванов
    22 мин

    Эволюция использования PostgreSQL в справочном API 2GIS

    • Первое появление постгреса в команде
    • Борьба с репликацией
    • Партицирование и миграции
    • Кросс-датацентровое использование
    • v8, json, jsonb, jsquery
    • Апгрейд версии postgresql

    На данный момент на продакшене бекенда справочного API 2GIS мы имеем с десяток различных баз в postgresql, около 120 шардов, миллионы записей в таблицах. При этом практически все данные хранятся в структурах jsonb

    Я расскажу об эволюции продукта с точки зрения взаимодействия с СУБД.

  • Олег Иванов
    Олег Иванов
    22 мин

    Применение методов машинного обучения для улучшения планировщика

    В докладе будет рассказано о существующем планировщике PostgreSQL, о возможностях его улучшения с помощью методов машинного обучения и о полученных в этой области результатах.