PgConf.Russia 2016

В докладе рассмотрим требования информационной безопасности, которые предъявляются к СУБД, используемым для государственных нужд. Разбираются требования регуляторов, проводится сравнение имеющихся сертифицированных версий СУБД, принципы организации дискреционного и мандатного методов доступа к данным. Подробно рассмотрено, как обеспечить невозможность доступа к конфиденциальным данным после их использования (очистка памяти), в каких местах и каким способом реализована очистка данных в СУБД Postgres Pro. В докладе будет рассказано о новой возможности обеспечения безопасности на уровне строк (RLS), которая появилась в PostgreSQL 9.5. Также рассмотрим, как работает группа Security Information в международной группе разработчиков PostgreSQL, каким образом устраняются уязвимости.

В докладе будут представлены технические решения компании "Диасофт Платформа" по миграции приложений с проприетарных СУБД (на примерах Oracle и Microsoft SQL Server) на PostgreSQL. Эти решения реализует программный продукт "Diasoft Database Adapter".

Разработанные нами технические решения позволяют автоматизировать: 1) миграцию схемы БД (включая трансляцию кода хранимых процудур и функций); 2) миграцию данных; 3) миграцию приложений-клиентов СУБД без какого-либо изменения их кода.

Общая информация об adsterra.com

• adsterra.com - биржа интернет рекламы
• В данный момент имеет порядка 150 млн показов баннеров в сутки.120 положение в alexa.com на 30.11.2015. Записывает в postgresql до 10000(и больше) событий в секунду. Читает до 5000
• 20 отдельных серверов под БД с различными ролями
• Активно использует логику внутри БД. Много PL/pgsql и SQL функций.

Причины выбора Postgresql

• История создания adsterra.com.
• Сжатые сроки отведенные на разработку определили выбор в пользу готовых систем хранения данных.
• Postgresql привлек своей бесплатностью и рядом фишек, которых не было у конкурентов. Некоторые в итоге оказались полезными, некоторые не очень.

Описание архитектуры проекта

• Общая схема взаимодействия
• Роли групп серверов
• Использование различных методов для взаимодействия серверов: Потоковая репликация, Londiste, postgres_fdw. Плюсы и минусы каждого.
• Шардинг
• Использование SQL под OLTP

Проблемы возникшие в ходе разработки/использования и варианты решения:

• Материализованные представления. Проблемы с обновлением и поддержкой. Что сделали в итоге.
• Londiste. Какие проблемы были решены в ходе разработки, а какие так и не были.
• Проблемы потоковой репликации.
• Автовакум и вакум.
• Странности планировщика.
• Конкурентный доступ.

Крутые штуки Postgresql, которые сильно помогли

• Массивы, intarray и GIN индексы. Но не все гладко.
• Партиционирование. Но не все есть, что хочется.
• PL/pgsql. Но не всегда следует его использовать.
• unlogged таблицы. Но с умом.

Текущие разработки и нерешенные проблемы

• Реализация колоночной аналитики штатными средствами.
• Проблемы странных планов запросов.
• Логическая репликация мечты
• Мультимастер...

На мастер-классе будет рассказано про устройство внутренних интерфейсов PostgreSQL, о том, как их использовать для написания собственных патчей или расширений, и как продвигать результаты своей работы в сообществе. Анастасия Лубенникова — российский разработчик PostgreSQL, уже известный мировому сообществу – работает над курсом «молодого бойца» для программистов PostgreSQL, что уже анонсировалось в Facebook и на Хабре: Hacking PostgreSQL.

Отдельные части этого курса, подкрепленные многолетним опытом Федора Сигаева и Александра Короткова, составят основу мастер-класса. Мастер-класс рассчитан на программистов, владеющих языком C.