Мега-масштабирование PostgreSQL: Советы от работающих с 10^6 баз данных
Heroku Postgres is a cloud database service and the largest provider of PostgreSQL as a service anywhere. We operate more than 1,000,000 PostgreSQL databases with a team of about 10 people. We may be the most efficient DBAs in history, with approximately 100,000 databases per person on our team! This talk will introduce the opportunity and challenges of building and operating a cloud database service, as well as discussing the strategies we use to build, operate, and scale this product and team for the last six years now. We will include details about
- a brief introduction to the service to provide context
- strategies to design and build such a data service
- operational war stories like how to recover from losing thousands of servers at once,
- common challenges users have with Postgres
- and a basic overview of the technical architecture
This is a complementary talk to Will Leinweber's talk, which will go into much more depth on the architecture of the software we have written.
Слайды
Видео
Другие доклады
-
22 мин
Иван Панченко Postgres Professional рзаместитель генерального директораГод Профессионального Постгреса в России
Исполнилось год с момента создания российского вендора постгреса - компании Postgres Professional. Что полезного для сообщества было сделано компанией, над чем она работает сейчас - о разработках, о сертификации, о русской документации и об образовательной программе.
-
22 минДДенис Иванов 2ГИС Ведущий разработчик
Эволюция использования PostgreSQL в справочном API 2GIS
- Первое появление постгреса в команде
- Борьба с репликацией
- Партицирование и миграции
- Кросс-датацентровое использование
- v8, json, jsonb, jsquery
- Апгрейд версии postgresql
На данный момент на продакшене бекенда справочного API 2GIS мы имеем с десяток различных баз в postgresql, около 120 шардов, миллионы записей в таблицах. При этом практически все данные хранятся в структурах jsonb
Я расскажу об эволюции продукта с точки зрения взаимодействия с СУБД.
-
22 мин
Дмитрий Воронин ОАО "НПО РусБИТех" Инженер-программистРасширенные возможности аудита в СУБД PostgreSQL в дистрибутиве ОС "Astra Linux Special Edition"
Базовая версия СУБД PostgreSQL предоставляет возможность регистрации событий:
- входа и выхода пользователей; - отказа в доступе к защищаемому ресурсу;с указанием даты, времени и имени пользователя.Требования руководящих документов к подсистеме регистрации событий намного шире возможностей базовой версии СУБД PostgreSQL.
ОАО «НПО РусБИТех» проводит необходимые доработки СУБД PostgreSQL для расширения ее функциональных возможностей.
В результате доработок подсистема регистрации событий СУБД PostgreSQL в составе ОС «AstraLinux Special Edition» дополнительно обеспечивает возможность регистрации:
- создания и уничтожения объектов баз данных; - изменения правил разграничения доступа; - как отказов, так и успешных попыток доступа к объектам баз данных; - изменений полномочий субъектов доступа и статуса объектов доступа.Для всех событий указываются:
- дата и время; - пользователь, осуществляющий регистрируемое действие; - объект, над которым проводится действие; - тип события; - результат операции.Подсистема регистрации событий доработанного PostgreSQL интегрирована в централизованную систему аудита ОС «Astra Linux Special Edition». Обеспечена настройка правил регистрации событий без останова (перезапуска) СУБД.
-
22 мин
Олег Иванов Postgres Professional РазработчикПрименение методов машинного обучения для улучшения планировщика
В докладе будет рассказано о существующем планировщике PostgreSQL, о возможностях его улучшения с помощью методов машинного обучения и о полученных в этой области результатах.