PgConf.Russia 2016

Корейская группа пользователей PostgreSQL была относительно мала и неактивна многие годы. Однако недавно, в Корее стали происходить изменения. Компании начали искать альтернативы применяемым дорогостоящим проприетарным РСУБД в целях сокращения TCO. Эту тенденцию также поддержали правительственные организации. Мы, компания Bitnine, руководим этим процессом в Корее. В 2015 г. мы запустили первую версию нашего решения на базе PostgreSQL, Agens SQL. Мы переводим документацию PostgreSQL на корейский и ведём группу пользователей PostgreSQL, а также пытаемся участвовать в работе глобальной группы разработчиков PostgreSQL. Кроме того, в этом году планируется проведение первой корейской конференции PostgreSQL и руководить её организацией будем мы. На этом выступлении мы сообщим о текущем состоянии корейской группы пользователей PostgreSQL и рынка СУБД PostgreSQL в Корее. Мы также расскажем о нашей деятельности в Корее и об историях успешного перехода с проприетарных РСУБД на PostgreSQL.

Использование слабоструктурированных данных определенно является трендом современности, и это верно не только для NoSQL, но и для традиционных RDBMS. Многие реляционные базы данные (например, PostgreSQL, Oracle, db2, Mysql) позволяют хранить данные в json формате, и, очевидно, реализуют это по-разному.

Доклад содержит две части:

• Сравнение поддержки json в PostgreSQL и других реляционных базах данных, а именно Mysql, Oracle, db2, MSSql в контексте реализованных возможностей, функций и т.д.
• Сравнение производительности для баз с наиболее полной поддержкой json (PostgreSQL и Mysql) а также MongoDB на различных видах нагрузок и конфигураций.

Базовая версия СУБД PostgreSQL предоставляет возможность регистрации событий:

- входа и выхода пользователей;
- отказа в доступе к защищаемому ресурсу;с указанием даты, времени и имени пользователя.

Требования руководящих документов к подсистеме регистрации событий намного шире возможностей базовой версии СУБД PostgreSQL.

ОАО «НПО РусБИТех» проводит необходимые доработки СУБД PostgreSQL для расширения ее функциональных возможностей.

В результате доработок подсистема регистрации событий СУБД PostgreSQL в составе ОС «AstraLinux Special Edition» дополнительно обеспечивает возможность регистрации:

- создания и уничтожения объектов баз данных;

- изменения правил разграничения доступа;

- как отказов, так и успешных попыток доступа к объектам баз данных;

- изменений полномочий субъектов доступа и статуса объектов доступа.

Для всех событий указываются:

- дата и время; 

- пользователь, осуществляющий регистрируемое действие;

- объект, над которым проводится действие;

- тип события;

- результат операции.

Подсистема регистрации событий доработанного PostgreSQL интегрирована в централизованную систему аудита ОС «Astra Linux Special Edition». Обеспечена настройка правил регистрации событий без останова (перезапуска) СУБД.

Общая информация об adsterra.com

• adsterra.com - биржа интернет рекламы
• В данный момент имеет порядка 150 млн показов баннеров в сутки.120 положение в alexa.com на 30.11.2015. Записывает в postgresql до 10000(и больше) событий в секунду. Читает до 5000
• 20 отдельных серверов под БД с различными ролями
• Активно использует логику внутри БД. Много PL/pgsql и SQL функций.

Причины выбора Postgresql

• История создания adsterra.com.
• Сжатые сроки отведенные на разработку определили выбор в пользу готовых систем хранения данных.
• Postgresql привлек своей бесплатностью и рядом фишек, которых не было у конкурентов. Некоторые в итоге оказались полезными, некоторые не очень.

Описание архитектуры проекта

• Общая схема взаимодействия
• Роли групп серверов
• Использование различных методов для взаимодействия серверов: Потоковая репликация, Londiste, postgres_fdw. Плюсы и минусы каждого.
• Шардинг
• Использование SQL под OLTP

Проблемы возникшие в ходе разработки/использования и варианты решения:

• Материализованные представления. Проблемы с обновлением и поддержкой. Что сделали в итоге.
• Londiste. Какие проблемы были решены в ходе разработки, а какие так и не были.
• Проблемы потоковой репликации.
• Автовакум и вакум.
• Странности планировщика.
• Конкурентный доступ.

Крутые штуки Postgresql, которые сильно помогли

• Массивы, intarray и GIN индексы. Но не все гладко.
• Партиционирование. Но не все есть, что хочется.
• PL/pgsql. Но не всегда следует его использовать.
• unlogged таблицы. Но с умом.

Текущие разработки и нерешенные проблемы

• Реализация колоночной аналитики штатными средствами.
• Проблемы странных планов запросов.
• Логическая репликация мечты
• Мультимастер...