PGConf.Russia 2025

На одном из моих прошлых мест работы мы довели ElasticSearch до предела его возможностей. Нам потребовалась еще более масштабируемая альтернатива для системы с высокой нагрузкой на запись и редкими чтениями. Мы построили такую систему на PostgreSQL. Теперь многие из нас работают над ее преемником как над опенсорсным проектом.

Этот доклад расскажет о дизайне Bagger (названного в честь гигантских горнодобывающих машин), который способен управлять логами объёмом в десятки и сотни петабайт. Помимо обзора архитектуры, расскажем о причинах выбора решений и компромиссах, которые пришлось учитывать при проектировании.

Доклад не только продемонстрирует гибкость и мощность PostgreSQL, но и проиллюстрирует фундаментальные компромиссы, неизбежные при работе с большими данными.

Если вы настраивали отказоустойчивый кластер Postgres, то сталкивались с необходимостью перенаправления пользовательского трафика на пишущий узел после аварии на основном узле и переключения на резервный. 

Скорее всего, для решения этой задачи вы настраивали дополнительное ПО, которое отслеживало состояние вашего отказоустойчивого кластера и перенаправляло трафик на нужный узел. Чтобы это ПО не превратилось в единую точку отказа, вы разворачивали дополнительную логику по обработке сбоев уже на этом слое. Кроме того, возможно, вы сталкивались с ограничениями Postgres по одновременной обработке большого количества клиентских сессий и с необходимостью пулинга запросов. 

Мы разработали расширение Proxima, которое снимает необходимость в настройке и администрировании дополнительного программного обеспечения. Proxima — масштабируемый, отказоустойчивый прокси-сервер и пулер соединений, способный перенаправлять трафик на пишущий узел, а при работе с BiHA переключение на новый пишущий узел в случае аварии происходит автоматически. 

В докладе я расскажу, как мы делали Proxima, какие архитектурные решения заложены в расширение, почему мы выбрали именно такой подход. Разберем тонкости реализации, которые позволили нам обрабатывать более 10 тысяч одновременных клиентских сессий. Рассмотрим примеры использования и ответим на ваши вопросы

Варианты хранения файлов в СУБД:

• Простые таблицы. 
• Большие объекты pg_largeobject. 
• pgpro_sfile — хранилище больших объектов pgpro_bfile.

Although we often don't like to talk about it, database administration carries with it a large amount of stress. This is particularly true when we have to take on late night support duties. In this talk you will learn: 1. The basics of the physiology of stress. This is not a physiology lecture, but as engineers we need enough to build a mental model. 2. What kinds of mistakes we make when under stress. 3. How to measure stress in your own life and recognize it in others. 4. What tools are helpful to manage short- and long-term stressors. Managing short-term stress is important in avoiding becoming overwhelmed when problems occur, but managing longer-term stressors is just as important in avoiding problems in the first place.