Доклады

Рассказ о практических подходах и инструментах автоматизации миграции на 2 реальных примерах: база данных с изменением структуры в новой версии и базы данных с значительным содержанием бизнес-логики приложения.

За 6 лет моего опыта работы с 1С на PostgreSQL СУБД прошла огромный путь, и хочется осветить этот путь, чтобы понять, какой огромный прогресс уже достигнут. Но, как всегда, пользователям всего мало, так что помимо уже пройденного пути в докладе будут освещены пожелания к СУБД с точки зрения эксплуатации, а так же даны обходные пути решения.

СУБД Postgres Pro Enterprise построена на основе СУБД с открытым кодом PostgreSQL. Она сильно отличается от PostgreSQL и в версии 15 имеет более 40 важных доработок, которых нет в PostgreSQL. Сейчас ведется разработка еще более 20 механизмов, как в самой СУБД, так и в дополнительных продуктах - BiHA, DBaaS, pg_probackup, и т. д. О них мы и поговорим.

В современном анализе данных модели машинного обучения используется так же часто, как и базы данных. Такие гиганты, как Google и Amazon их уже совместили. Не отстаёт Microsoft и Yandex. Не пора ли внедрить модель машинного обучения в PostgreSQL?

В докладе кратко изложено, в чем заключается машинное обучение, показаны примеры использования машинного обучения у ведущих игроков рынка, ну и показан прототип, как это может быть в PostgreSQL.

Расскажем о созданном нами инструменте, который отслеживает изменения в БД и создаёт скрипты миграций выбранных объектов как в интерактивном, так и в автоматическом режиме.

Hardening — процесс усиления защищенности системы с целью снижения рисков от возможных угроз. В своем докладе, я расскажу как защитить служебные кластерные коммуникации с помощью TLS соединений, во избежание случайного или несанкционированного доступа к хранилищам ETCD и REST API Patroni.

Одним из требований для работы отказоустойчивого кластера Corosync/Pacemaker является фенсинг отказавшего узла. В виртуальных средах фенсинг реализуется путем отключения виртуальной машины через гипервизор, в кластере на физических серверах - через IPMI/ILO. Что делать, если фенсинг невозможно организовать, например, закрыт доступ или кластер в облаках? Об альтернативных способах фенсинга отказавшего узла я расскажу в своем докладе.

Миграция с Oracle DB/Application. Сколько стоит?

Снижение порога вхождения программиста в разработку бизнес-приложений с использованием Database-Centric подхода на Low-Code Development Platform на основе PostgreSQL.

В последнее время одним из наиболее распространенных способов миграции стала миграция при помощи свободного инструмента ora2pg. Однако многие отмечают крайне низкую производительность этого инструмента, особенно если речь идет о базах размером от 1 Терабайта и выше. Как значительно ускорить миграцию БД используя oracle_fdw отдельно, либо в сочетании с ora2pg и будет описано в данном докладе.

В этом обзорном докладе мы познакомимся с первым релизом Postgres Pro Enterprise Manager (PPEM) и его основными возможностями по повышению продуктивности труда Администраторов БД.

Компания Postgres Pro делает большие инвестиции для того, чтобы упростить заказчикам миграцию на свою СУБД с Oracle.

В данном докладе подробно описываются передовые технологии СУБД Postgres Pro, предназначенные для решения этой задачи:

• поддержка функциональности пакетов в PL/pgSQL, включая секцию инициализации пакетов и глобальнные переменные пакета;
• утилита ora2pgrpo для автоматической конвертации кода пакетов из синтаксиса Oracle PL/SQL в PL/pgSQL;
• расширение PG Pro Application Info предназначенное для инструментирования и мониторинга состоянии сессий, включая выполнение длительных операций (session longops) - функциональный аналог пакета DBMS_APPLICATION_INFO в СУБД Oracle;
• новые системные пакеты UTL_MAIL и UTL_SMTP для отправки писем по email из хранимых процедур в СУБД Postgres Pro (полный функциональный аналог соответствующих пакетов в СУБД Oracle);
• новый системный пакет UTL_HTTP для взаимодействия с внешними источниками из хранимых процедур в СУБД Postgres Pro (аналог одноименного пакета в СУБД Oracle);

Также в докладе будет небольшой рассказ о направлениях развития СУБД Postgres Pro направленных на дальнейшее упрощение миграции c СУБД Oracle.

• Как классифицировать многочисленные СУБД, чтобы не потеряться в их многообразии?
• Правда ли, что PostgreSQL решает 95% всех задач хранения и обработки данных?
• Почему Сбербанк для своей платформы выбрал именно PostgreSQL?
• Ждёт ли нас отказ от старомодных монолитных баз в пользу новейших распределённых систем?

Ответы на эти и другие вопросы – в докладе

Традиционно отказоустойчивость в Postgres достигается при помощи встроенных механизмов репликации и внешних утилит, наблюдающих за состоянием запущенных экземпляров Postgres и реагирующих соответствующим образом при возникновении различных сбоев. В своем докладе я расскажу что нам нравится и что не нравится в этом подходе, какую мы видим альтернативу, чего мы смогли достигнуть к сегодняшнему дню и что хотим получить к релизу, который планируется на декабрь месяц.

За время своего существования, PostgresPro накопил пул проблемных кейсов, когда запрос выполнялся неадекватно долго или, требуя чрезмерно больших ресурсов, не выполнялся вообще. Почти всегда в нашей практике это связано с выбором неоптимального плана запроса. В нашем повествовании мы расскажем о весьма нетрадиционной попытке решения этой проблемы методом перепланирования запросов. Расскажем что это, как это работает, кому может помочь и перспективах применения данной фичи.

Сталкиваясь с ограничениями по использованию западного ПО, наш Банк разработал и внедрил в промышленную эксплуатацию надежный механизм по репликации данных между двумя СУБД. Данный механизм позволяет командам банка без особых ограничений заменить продукт от компании Оракл (Oracle Golden Gate), используемый в банке долгое время. В докладе мы расскажем об основных преимуществах нашего ПО и особенностях его использования.

Резервное копирование до сих пор является камнем преткновения при переходе на PostgreSQL с других СУБД. Размер этого камня напрямую зависит от багажа опыта и знаний о видах резервного копирования в PostgreSQL. В докладе расскажу про различные виды бэкапов, про их плюсы минусы и сценарии использования каждого вида.

Как вы, наверное, знаете, что PostgreSQL обладает рядом отличительных особенностей по сравнению с другими СУБД. Например, Postgres может обрабатывать и хранить множество различных типов данных. Но чтобы их использовать, нужно кое-что про них знать. В докладе мы с вами найдем причину, почему запросы к таблице начинают тормозить (и автовакуум/вакуум тут не при чем) и попробуем ускорить такие запросы. Я расскажу как работают целочисленные типы данных в PostgreSQL и затрону тему ускорения таких запросов. И напоследок, поговорим, а как сделать так, чтобы ваши данные в таблицах занимали меньше места и еще при этом выросла скорость запросов к этим данным.

• Доклад о том, как в PostgreSQL работают "обычные индексы". Доклад будет крайне полезен как тем, кто начинает работать с базами данных, так и тем, кто работал, но подзабыл. Если доклад попадёт в золотые подборки "обязательно посмотреть на on-boarding'е разработчика", то цель достигнута.
  В докладе рассмотрим:
  
  • Как индекс ускоряет поиск
    
  • Нужно ли индексировать условия where
    
  • Нужно ли индексировать условия в order by
    
  • Нужно ли индексировать внешние ключи (foreign keys)
    
  • Что делать, если критериев поиска несколько
    
  • В каком порядке указывать колонки в индексе
    
  • Случаи, когда индекс замедляет работу, и как снизить влияние индекса на приложение

Фаззинг-исследование, это когда мы подаем в программу (или ее часть) случайные входные данные (на самом деле случайность весьма условна) и смотрим что из этого получится. И так много раз на многих процессорах.

Фаззинг исследование большого монолитного программного комплекса всегда не простая задача требующая неординарных решений. В этом докладе я расскажу что и как мы искали при помощи фаззинга и к каким результатам оно привело.

• Исследование функций парсинга типов данных (input-функции): для разогрева;
• Исследование функций реализующих операции между типами (op-функции): тут лучше учитывать структуру;
• Фаззинг сетевой подсистемы: давайте притворимся, что мы POSIX-вызовы, так дешевле;
• Восстановление дискового контекста: нужен день сурка.

Рассказ о смешных багах и нелепые жесты руками входят в комплект поставки.

Мы ответим на вопросы о важности работы компрессии в резервном копировании. Покажем, как использовать доступные алгоритмы: pglz, zlib, zstd, lz4 – в разных редакциях pg_probackup. Расскажем, как сделать инкрементальное копирование и восстановление еще быстрее с PTRACK и CFS – сжатым табличным пространством в СУБД Postgres Pro. Немного расскажем про планы разработки и интеграции с СРК-системами.

В докладе расскажу о том, как можно организовать управление учетными записями в условиях микросервисов: организация ролевой модели, аутентификация через SSO и межсервисная аутенфикация.

Важным аспектом безопасности и надежности баз данных PostgreSQL являются практики создания резервных копий. В ходе доклада будут раскрыты основные техники и методы, используемые для защиты данных, предотвращения потерь и успешного восстановления информации в случае человеческих ошибок, сбоев или чрезвычайных ситуаций. Расскажем как КиберБэкап помогает защитить PostgreSQL, включая конфигурацию в кластере Patroni: будут рассмотрены варианты развертывания системы, важные аспекты настройки политики резервного копирования, включая полное и инкрементное. А еще покажем как легко работать с резервными копиями через монтирование и сделать гранулярное восстановление.

Расскажем про технику адаптивной оптимизации запросов, ключевые возможности новой версии расширения AQO и стабилизацию планов при помощи SR_PLAN. + Краткое (10 мин.) демо от Александра Котина

К большому сожалению, идеальные компьютерные системы существуют только в книжках фантастов. Проблемы работоспособности встречаются и в PostgreSQL. В данном докладе хочется обсудить как правильно (и неправильно) подходить к попыткам решить проблему, какой путь выбрать, какой инструмент использовать.

Доклад будет интересен как начинающим, так и опытным пользователям и администраторам баз данных.