PGConf.Russia 2025

На одном из моих прошлых мест работы мы довели ElasticSearch до предела его возможностей. Нам потребовалась еще более масштабируемая альтернатива для системы с высокой нагрузкой на запись и редкими чтениями. Мы построили такую систему на PostgreSQL. Теперь многие из нас работают над ее преемником как над опенсорсным проектом.

Этот доклад расскажет о дизайне Bagger (названного в честь гигантских горнодобывающих машин), который способен управлять логами объёмом в десятки и сотни петабайт. Помимо обзора архитектуры, расскажем о причинах выбора решений и компромиссах, которые пришлось учитывать при проектировании.

Доклад не только продемонстрирует гибкость и мощность PostgreSQL, но и проиллюстрирует фундаментальные компромиссы, неизбежные при работе с большими данными.

Перечислить все важные изменения 18-й версии во время выступления будет достаточно проблематично, если не сказать больше. Ведь заморозка кода состоится через неделю после доклада. Но вполне реально рассказать о том, что уже принято. А интересных изменений в области производительности, мониторинга, очистки (куда же без нее) и не только уже набралось немало.

По традиции доклад строится на материалах серии статей с обзором коммитфестов 18-й версии, которые публикуются в корпоративном канале Postgres Professional на Хабре.

Доклад, скорее всего, будет интересен сетевым провайдерам, которые к своим крутым фичам могут добавить что-то в синтаксис, чтоб упростить администрирование, а также всем, кто интересуется машинным обучением. Будет рассмотрен механизм разбора SQL, что, где и как поменять, чтобы внедрить новые синтаксические конструкции. Также продемонстрирую возможности машинного обучения на табличных данных не выходя из базы с использованием нового синтаксиса.

Всем известно, что для быстрого обновления PostgreSQL нужно использовать инструмент pg_upgrade. Однако даже в этом случае бывают ситуации, когда невозможно уложиться в какое-то нормальное время обновления. В нашем случае, чтобы выполнить обновление в СУБД PostgreSQL, которое содержит 350 тыс. таблиц, пришлось либо ждать 3 с половиной часа, либо найти другой способ обновления. Мы немного покопались в исходниках утилиты pg_upgrade и нашли вариант, когда процесс обновления можно ускорить в несколько раз. Об этом способе мы вам и расскажем.