Декларативное программирование клиентов Postgres в Haskell с помощью Hasql

Речь пойдёт о "hasql", высокоэффективной библиотеке для интеграции Haskell с PostgreSQL. Вы познакомитесь с удивительным языком программирования Haskell, преимуществами декларативного программирования и техническими решениями библиотеки, среди которых имплементация бинарного протокола для общения с Postgres. Эта библиотека используется проектом PostgREST, популярным универсальным REST API для баз данных Postgres.

PostgreSQL как ядро биржи интернет-рекламы Adsterra.com

Общая информация об adsterra.com

• adsterra.com - биржа интернет рекламы
• В данный момент имеет порядка 150 млн показов баннеров в сутки.120 положение в alexa.com на 30.11.2015. Записывает в postgresql до 10000(и больше) событий в секунду. Читает до 5000
• 20 отдельных серверов под БД с различными ролями
• Активно использует логику внутри БД. Много PL/pgsql и SQL функций.

Причины выбора Postgresql

• История создания adsterra.com.
• Сжатые сроки отведенные на разработку определили выбор в пользу готовых систем хранения данных.
• Postgresql привлек своей бесплатностью и рядом фишек, которых не было у конкурентов. Некоторые в итоге оказались полезными, некоторые не очень.

Описание архитектуры проекта

• Общая схема взаимодействия
• Роли групп серверов
• Использование различных методов для взаимодействия серверов: Потоковая репликация, Londiste, postgres_fdw. Плюсы и минусы каждого.
• Шардинг
• Использование SQL под OLTP

Проблемы возникшие в ходе разработки/использования и варианты решения:

• Материализованные представления. Проблемы с обновлением и поддержкой. Что сделали в итоге.
• Londiste. Какие проблемы были решены в ходе разработки, а какие так и не были.
• Проблемы потоковой репликации.
• Автовакум и вакум.
• Странности планировщика.
• Конкурентный доступ.

Крутые штуки Postgresql, которые сильно помогли

• Массивы, intarray и GIN индексы. Но не все гладко.
• Партиционирование. Но не все есть, что хочется.
• PL/pgsql. Но не всегда следует его использовать.
• unlogged таблицы. Но с умом.

Текущие разработки и нерешенные проблемы

• Реализация колоночной аналитики штатными средствами.
• Проблемы странных планов запросов.
• Логическая репликация мечты
• Мультимастер...

Программирование на уровне ядра и расширений PostgreSQL

На мастер-классе будет рассказано про устройство внутренних интерфейсов PostgreSQL, о том, как их использовать для написания собственных патчей или расширений, и как продвигать результаты своей работы в сообществе. Анастасия Лубенникова — российский разработчик PostgreSQL, уже известный мировому сообществу – работает над курсом «молодого бойца» для программистов PostgreSQL, что уже анонсировалось в Facebook и на Хабре: Hacking PostgreSQL.

Отдельные части этого курса, подкрепленные многолетним опытом Федора Сигаева и Александра Короткова, составят основу мастер-класса. Мастер-класс рассчитан на программистов, владеющих языком C.

Многогранность развития Postgres

В Postgres 9.5 добавилось много нового: UPSERT, CUBE, ROLLAP, функции для работы JSONB, улучшения PostGIS. Для администраторов - Row Level Securlty, новый тип индекса, и улучшения производительности на больших серверах.

В этом докладе будет рассказано о 10 наиболее значимых возможностях версии 9.5, а также о некоторых фичах следующих релизов.