Доклады

SQL/JSON и дальше

Расскажем о новых фичах SQL/JSON, принятых в 15-ю версию PostgreSQL. Покажем, как ими пользоваться, какие задачи они решают, и почему с ними лучше, чем без них. Полностью ли реализован стандарт SQL/2016 в части JSON? Тем временем, идет работа над следующим поколением стандарта SQL, где поддержка JSON развивается. Что там будет и как на это ответит Postgres ?

Апдейты? Да кому нужны ваши апдейты?!!

Поговорим про то как можно изменить записи в БД без апдейтов, спустимся на самый нижний из всех возможных уровней, посмотрим, что может случиться, если вносить изменения в файлы данных в разных режимах работы.

Современная экосистема PostgreSQL глазами Oracle DBA

Доклад обозревает современные инструменты для адмнистрирования PostgreSQL. Обозначает "узкие" места производительности базы и дает ключи к решению. Нацелен на раскрытие вопросов, возникающих в частности при переходе с БД Oracle. - инструменты настройки производительности (аналоги AWR, ASH) - инструменты мониторинга (аналоги Cloud Control) - обеспечение высокой доступности и надежности БД (аналоги grid infrastructure) - известные "узкие" архитектурые аспекты базы - обзор вариантов SLA по технической поддержке

Работа с кодом PostgreSQL

Лет 7 назад я пришёл от разработки под Windows к непреодолимому желанию дописать некоторые части PostgreSQL. В этом докладе я бы хотел рассказать о деталях вещей, которые были мне не очевидны, когда я начал работать с исходным кодом, системой сборки и тестирования PG. Я собираюсь говорить о самых простых вопросах - рутинные задачи IDE, навигация, сборка и всё такое. И совсем не претендую на какой-то истинный путь. Возможно, что-то покажется совсем проблемами чайников :) Я был бы рад, если бы другие разработчики тоже поделились секретами своего разработческого быта. Можем устроить обсуждение grep vs IDE :)

Deploy, Setup, Support: как работает Postgres Pro у облачного провайдера VK Cloud Solutions

Облачный провайдер оперирует большим количеством железных ресурсов и сетевых сущностей. Но одно дело, когда компания запускает десятки инстансов БД в изолированном контуре для внутренних задач. Совсем другое — когда облачный провайдер предоставляет услуги b2b-пользователям и создает сервис для 500+ крупных компаний.

Виталий расскажет, как сейчас работает Managed PostgresPRO у облачного провайдера VK Cloud Solutions, покажет архитектуру решения и расскажет о сложностях, с которыми столкнулись при создании продукта.

Ускорение баз данных нетрадиционными методами

Традиционные дисковые базы данных имеют врожденное физическое ограничение по сравнению с In-Memory СУБД в виде подсистемы хранения, которая даже в случае All-Flash NVMe на порядки более медленная, чем оперативная память CPU. Это особенно критично для развития приложений бизнес-аналитики и OLAP-сценариев на дисковых СУБД. Есть достаточное количество примеров ускорения традиционных СУБД, в том числе и PostgreSQL, которые мы рассмотрим, и предложим новый, Storage-центричный подход к аппаратному ускорению дисковых баз данных.

Сборка plv8: от архива с бинарниками до компактного докер-образа

Расширение plv8 очень недооценено, хотя оно позволяет значительно упростить разработку для ряда задач. Уже год как мы используем его в наших проектах. Но главная причина низкой популярности – сложность сборки расширения, к тому же требующей много трафика и места на диске для временных файлов. Поэтому мы решили собирать plv8 сами и поставлять готовые бинарники (не только поставлять нашим заказчикам, а вообще выложить в открытый доступ). Сначала просто выложили бинарные файлы на github. Потом сделали докер-образ Postgres с уже установленным plv8 на основе Debian. Образ получился тяжеловатым, поэтому стали смотреть в сторону alpine, но сборка под alpine оказалась сложнее, чем мы предполагали. Я расскажу, с какими трудностями мы столкнулись и как их преодолели. Так же кратко расскажу, для каких задач хорошо подходит plv8 и как сделать процесс разработки удобнее. И, конечно, поделюсь ссылками на наши докер-образы для последних версий Postgres 13 и 14, действительно компактные и открытые для любого использования.

Темпоральные типы и их использование

Я пересмотрел за жизнь много всякого кода, и очень часто встречал некоторый разнобой в обработке дат и времени: то у сторон не сходились отчеты за месяц, то суточные отчеты получались разные в Москве и Сан-Франциско, то еще чего-нибудь в таком же роде. Это не сказать чтобы сильно страшно, но довольно утомительно. Причина такого рода проблем всегда была связана с неаккуратной обработкой дат и времени. Тому, как этого можно постараться избежать, и посвящен мой доклад.

Хотите ли вы знать, чем занимался VACUUM?

В Postgres Professional ведется разработка механизма сбора детальных данных о работе вакуума в statistics collector. Я расскажу о некоторых проблемах, которые это поможет решать и покажу как это выглядит на примере расширения pgpro_pwr.

Babelfish: PostgreSQL с поддержкой SQL Server

Задачи миграции с классических коммерческих БД на open-source решения по-прежнему актуальны. Решения для миграции Oracle приложений на PostgreSQL уже хорошо себя зарекомендовали. Но что делать если у вас SQL Server? Хотим вам представить Babelfish - базирующийся на PostgreSQL 13 open source проект. Babelfish поддерживает сетевой протокол TDS, язык T-SQL и специфичные для SQL Server расширения SQL. Однако не всё так просто. Про особенности совместимости с SQL Server, проблемы и способы их решения мы расскажем в этом докладе. Бонус: история про то как мы добавляли поддержку Babelfish в DBeaver, используя JDBC драйвер от Microsoft.

Эволюция системы от MVP до HighLoad (опыт с ОСАГО)

В июне 2020 года АльфаСтрахование, как и другие страховые компании, была обязана использовать АИС РСА 2.0 для обеспечения работы ОСАГО в соответствии с законодательством. Компания занимает ведущие позиции на рынке ОСАГО, поэтому системы АИС ОСАГО, которые хранят информацию по обращениям от бизнес-систем до РСА и обратно, начали испытывать неожиданную нагрузку, БД стала деградировать, потреблять огромные для ее размера ресурсы. Деградация внезапно наступала и внезапно заканчивалась, причины были неясны. Творческий коллектив инженеров и экспертиза Postgres Pro решили проблему. Виновником оказался MyBatis (ORM) в Java-сервисах. История о том, что надо внимательно изучать документацию и проектировать высоконагруженные системы.

NULLs в Postgres

Доклад посвящён реализации специального значения NULL в бд PostgreSQL: * Что такое NULL? * Как он обрабатывается различными функциями? * Как хранится в БД? * Индексирование NULL

Миграция учетной системы ФГУП «Госкорпорация по ОрВД» с СУБД Oracle на Postgres Pro

В докладе будет рассказано о проекте миграции учетной системы, отвечающей за финансовые операции ФГУП «Госкорпорация по ОрВД» в части взимания аэронавигационных сборов за использование воздушного пространства с СУБД Oracle на СУБД Postgres Pro.

Изнанка «PostgreSQL изнутри»

Книга. Обычно читатель видит лишь конечный продукт — то, что напечатано на бумаге или открывается на экране монитора. А я предлагаю посмотреть изнанку своего недавно вышедшего труда «PostgreSQL изнутри». Приходите, если вам интересно, зачем автору писать скрипты, менять исходный код Постгреса и программировать картинки.

Агент мониторинга Mamonsu: обзор инструмента, его возможности

Mamonsu - активный агент мониторинга PostgreSQL на базе Zabbix. Агент активно продолжает развиваться: появляются новые уникальные метрики, возможности визуализации. Но помимо непосредственно сбора метрик, Mamonsu обладает и другим полезным функционалом. В докладе я кратко опишу возможности утилиты (также известные как "Mamonsu tools"), преимущества перед другими средствами мониторинга и процесс установки.

PostgreSQL 15: MERGE и другие

Заморозка кода 15-й версии была в апреле, первая бета-версия PostgreSQL 15 уже доступна. Кратко расскажу о самых интересных новинках версии. В том числе о MERGE, команде с не простой историей реализации.

Опыт применения Live Universal Interface (LUI) и PostgreSQL в создании системы аналитической отчётности

Доклад посвящён применению PostgreSQL, LUI и LUI4ORA2PG для построения системы аналитической отчётности. В докладе излагаются следующие темы: * миграция из среды Oracle; * применение функций JSON; * как нам помогли временные таблицы; * собственные средства нагрузочного тестирования и выявление “узких” мест; * как делать красивые карты формата GeoJSON для отображения на них диаграмм; * установка и тестирование системы на ЭВМ “Эльбрус”; * чего нам не хватало или мешало в PostgreSQL.

С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf:

https://pgconf.ru/2019/118109 ;

https://pgconf.ru/201911/264095 ;

https://pgconf.ru/2020/262456 ;

https://pgconf.ru/2021/288310 .

SPQR - легковесное шардирование

Stateless Postgres Query Router - новая система для роутинга запросов по диапазоном. Система написана на Go и стремится решить проблемы OLTP шардирования. Также система предполагает управление перемещением данных между шардами.

Как Patroni решает проблему потери слотов логической репликации?

Более семи лет назад вышел PostgreSQL 9.4, в котором впервые появились функции логического декодирования и слоты репликации. И, спустя несколько лет, на базе этих функций в PostgreSQL 10 наконец то появилась поддержка логической репликации встроенная в ядро. Казалось бы, наступило солнечное будущее к которому мы так долго шли, если бы не пара неприятных моментов: логическая репликация не работает на репликах, плюс в PostgreSQL нет механизмов создания логических слотов на реплике. Это означает что при переключении мастера на новый узел слоты репликации теряются и на практике делает невозможным использование логической репликации и CDC для серьезных промышленных решений.

Postgres-hackers уже много лет пытаются найти решение данной задачи, но к сожалению большинство попыток и горяих дискуссий в рассылке не привели ни к чему конкретному. Но, оказывается в PostgreSQL 11 была добавлена одна маленькая функция, которая позволила решить проблему потери слотов логической репликации с помощью внешних инструментов.

В докладе я расскажу как Patroni решает данную проблему используя исключительно на возможности PostgreSQL. Мы поговорим о плюсах и минусах данного решения, и попытаемся понять безопасно ли это немного погрузившись во внутренности Postgres.

Временные таблицы как наследие перехода с MS SQL. Проблемы, оптимизация, подходы

Использование временных таблиц в PG несет дополнительные проблемы использования ресурсов сервера и скорости работы запросов. Но бывает, что без них никак не обойтись, особенно при миграции кода с MS SQL, если первичный код их активно использовал при наличии логики на уровне БД. Доклад посвящен проблемам использования временных таблиц при переходе с MS SQL и подходам к их решению стандартными возможностями PG в зависимости от сценариев в коде.