Встроенный шардинг: текущее состояние и будущее

Шардингом базы данных называют распределение данных по большому количеству серверов для повышения производительности при работе с большими объемами данных. С появлением технологии Foreign Data Wrappers (FDW), стало возможным рассматривать шардинг в постгресе при разумном объеме изменений программного кода. Я занимаюсь улучшением инфраструктуры FDW, в т.ч. наследованием внешних таблиц и push-down запросов, что позволяет постгресу эффективно исполнять распределенные запросы через FDW. В этом докладе мы рассмотрим шардинг на FDW и его сценарии использования, затем я продемонстрирую, как организовать шардинг, и покажу, что для этого было сделано в постгресе. В заключение мы рассмотрим основные планы на будущее - в первую очередь, это асинхронное исполнение запросов и поддержка распределенных транзакций.

Пул соединений в масштабе

Многие знают, что соединения в PostgreSQL дорогие, а потому их надо экономить. Для решения этой задачи давно есть PgPool-II и PgBouncer. В Яндексе никого не удивить десятками тысяч соединений к одной базе и с незапамятных времён мы используем pgbouncer. В этом докладе я расскажу о проблемах, с которыми мы сталкивались, и способах их решения.

ВИДЕО

Динамическая компиляция SQL-запросов в PostgreSQL с использованием LLVM JIT

В данный момент в PostgreSQL для исполнения SQL-запросов применяется интерпретатор, реализующий модель итераторов (Volcano-модель). В то же время можно добиться существенного ускорения, выполняя динамическую компиляцию запроса «на лету». В этом случае можно генерировать код, специализированный для конкретного SQL-запроса, а также применять компиляторные оптимизации, учитывая, что во время выполнения уже известна структура используемых таблиц и типы данных. Такой подход особенно актуален для сложных запросов, скорость выполнения которых ограничена производительностью процессора.

Возможности полнотекстового поиска в PostgreSQL

Полнотекстовый поиск в PostgreSQL является, вероятно, наиболее совершенным из всех, которые имеются в реляционных СУБД. Мы расскажем о том, как настроить полнотекстовые конфигурации и словари и покажем настройку полнотекстового поиска на примере небольшого научно-популярного сайта, в котором можно выполнять поиск, используя различные функции ранжирования. Также расскажем о новом индексе RUM, который позволяет значительно ускорить некоторые виды полнотекстовых запросов и добавляет новую функцию ранжирования результатов для лучшей сортировки.