PGConf.Сибирь 2022

Рост приложения иногда опережает модернизацию инфраструктуры. Мы столкнулись с необходимостью подготовить решение, позволяющее выдерживать волнообразный рост трафика, научиться масштабировать наш PostgreSQL за минуты! Мы начали использовать для этого облако и не ошиблись.

Расскажем вам:

• что сделали, чтобы получить возможность получить в 5-10 раз больше инстансов PostgreSQL, готовых принимать трафик на чтение не позднее чем через 3 мин после старта;
• как получилось удачно вписать новые облачные инстансы (ECS ) без использования стандартных механизмов балансировки (ELB);
• как немного кода на python помогло связать сложные компоненты инфраструктуры и сэкономить.

Как-то ночью у нас на сервере СУБД закончилось место. Кажется банальная ситуация: добавляем место на диске, запускаем СУБД и работаем дальше. Но в этой конкретной ситуации у нас произошла серьезная проблема. Сломались системные и пользовательские индексы. При этом очень интересно сломались. Они читаются, к ним можно обращаться, а вот добавление и изменения их звершается ошибкой. О том как мы решали эту проблему и какие выводы сделали из этой ситуации я расскажу в своем докладе.

СУБД возникли гораздо раньше, чем люди это осознали. Мы начнём с самых дальних предпосылок, чтобы правильно проследить, как человечество дошло до концепции СУБД вообще и Постгреса в частности, как развивался и какими технологиями питался Постгрес.  

Из доклада вы узнаете:

• когда была создана первая база данных, и когда людям потребовалась СУБД;
• как менялись представления человечества о том, какой должна быть СУБД, и почему язык SQL возник именно тогда, когда он возник;
• какие были периоды дикого хайпа вокруг тех или иных фич СУБД и во что они вылились после;
• как Стоунбрейкер пришел к идее Постгреса и зачем;
• кто основные контрибьюторы в постгрес и в чём их вклад;
• меняют ли технологии СУБД мир, и если да, то как;
• чем отличается сообщество Постгреса сейчас о того, каким оно было в прошлом веке и почему, насколько это применимо для других сообществ СПО;
• в чем причина(ы) роста популярности Постгреса.

Встроенная репликация появилась в PostgreSQL уже давно и прошла проверку временем. В настоящее время настройка репликации master-slave не составляет проблемы, и сейчас уже ушла большая часть «детских» проблем и ограничений (например невозможности выполнения read-only запросов на реплике, ограниченности реплики по уровню синхронности с мастером и так далее).

Но построение отказоустойчивого кластера на основе встроенной репликации остается нетривиальной проблемой, поскольку требует недюжинных знаний и квалификации администраторов (как базы данных, так и системных), аналитиков и архитекторов. Весь «зоопарк» имеющихся сейчас решений добавляет новые администрируемые единицы, пакеты, работы по их настройке, а некоторые решения еще и требуют соответствующей аппаратной поддержки. Все это грамотно настроить в соответствии с моделями угроз и требованиями бизнеса — не является простой задачей.

Пришло время приступить к реализации встроенного отказоустойчивого кластера. Автор доклада поделится, какие сложности стоят на этом пути, как их решать; от каких сбоев встроенный кластер может защитить — пусть и не сразу, а от каких не сможет никогда.