PgConf.Russia 2016

Самый часто используемый тип индексов в PostgresSQL - B-tree. Эта структура данных и связанные с ней алгоритмы развиваются уже больше 40 лет. Но, как мы знаем, нет предела совершенству. В этом докладе пойдет речь об особенностях структуры B-tree и его реализации в PostgreSQL, важных для оптимального использования индексов. Кроме того, мы представим улучшения функциональности B-tree в PostgreSQL, которые войдут в релиз 9.6. Это компрессия дубликатов и новые возможности использования покрывающих (covering) индексов.

Общая информация об adsterra.com

• adsterra.com - биржа интернет рекламы
• В данный момент имеет порядка 150 млн показов баннеров в сутки.120 положение в alexa.com на 30.11.2015. Записывает в postgresql до 10000(и больше) событий в секунду. Читает до 5000
• 20 отдельных серверов под БД с различными ролями
• Активно использует логику внутри БД. Много PL/pgsql и SQL функций.

Причины выбора Postgresql

• История создания adsterra.com.
• Сжатые сроки отведенные на разработку определили выбор в пользу готовых систем хранения данных.
• Postgresql привлек своей бесплатностью и рядом фишек, которых не было у конкурентов. Некоторые в итоге оказались полезными, некоторые не очень.

Описание архитектуры проекта

• Общая схема взаимодействия
• Роли групп серверов
• Использование различных методов для взаимодействия серверов: Потоковая репликация, Londiste, postgres_fdw. Плюсы и минусы каждого.
• Шардинг
• Использование SQL под OLTP

Проблемы возникшие в ходе разработки/использования и варианты решения:

• Материализованные представления. Проблемы с обновлением и поддержкой. Что сделали в итоге.
• Londiste. Какие проблемы были решены в ходе разработки, а какие так и не были.
• Проблемы потоковой репликации.
• Автовакум и вакум.
• Странности планировщика.
• Конкурентный доступ.

Крутые штуки Postgresql, которые сильно помогли

• Массивы, intarray и GIN индексы. Но не все гладко.
• Партиционирование. Но не все есть, что хочется.
• PL/pgsql. Но не всегда следует его использовать.
• unlogged таблицы. Но с умом.

Текущие разработки и нерешенные проблемы

• Реализация колоночной аналитики штатными средствами.
• Проблемы странных планов запросов.
• Логическая репликация мечты
• Мультимастер...

CitusDB — расширение PostgreSQL, позволяющее распределять таблицы в кластере серверов PostgreSQL. Данные разделяются по секциям (шардам) по добавлению (оптимально для массовой загрузки данных временных рядов) или по хешу (для введения данных в реальном времени). Запросы SELECT к распределённым таким образом таблицам прозрачно распараллеливаются в кластере, при этом задействуются все доступные ядра. Также параллельно возможно соединять распределённые таблицы, даже если они разделены не по значению одной колонки. CitusDB исключительно подходит для сценариев использования с анализом в реальном времени, например, для информационных панелей, где нужны быстрые аналитические запросы к динамическим данных и в то же время востребована масштабируемая оперативная база данных. На этом докладе будет освещено внутреннее устройство CitusDB и представлена живая демонстрация крупномасштабного кластера CitusDB.

Мы разрабатываем медицинскую базу данных - fhirbase, основанную на PostgreSQL и современном стандарте обмена медицинской информацией FHIR. Первая версия была написана с использованием SQL и PL/PgSQL, однако она достигла предела своей сложности и была полностью переписанна на PLv8/javascript. В докладе я расскажу про архитектуру fhirbase и то, почему мы выбрали PLv8. Про комфортную среду разработки, которая позволяет разрабатывать код и тесты в Node.JS и потом деплоить этот код в PostgreSQL. Поделюсь проблемами, с которыми мы столкнулись. Порассуждаем о переиспользовании библиотек и эко-системы javascript для разработки бизнес-логики внутри PostgreSQL. Расскажу про идеи PostgREST и no-backend приложений на PostgreSQL.