Доклады

synchronous_standby_names - типичный составной параметр. Он не связан со структурой в коде напрямую, а для его работы написан индивидуальный парсер. Такой подход не масштабируется, но десятки подобных параметров требуются в конфигурациях ядра и расширений уже сегодня. Представляемый патч ванильного постгреса добавляет поддержку сложных опций в систему конфигурирования. С ним разработчики могут легко определять собственные структуры, статические и динамические массивы в GUC со всеми возможностями старых параметров, а пользователи – удобно устанавливать и смотреть значения таких опций. Доклад посвящен особенностям создания патча и сценариям его использования разработчиками и администраторами постгреса.

Можно ли узнать когда именно было сгенерировано значение UUID и причем тут WAL? Сколько операций ввода/вывода сделал процесс пользователя? Как быстро восстановить статистику после обновления сервера? Будет ли использоваться многоколоночный индекс, если в запросе нет фильтра по первому столбцу индекса? Как увеличить количество процессов автоочистки без перезапуска сервера? На очистку/анализ каких таблиц уходит больше всего времени? А сколько времени автоочистка простаивает и как заставить ее срабатывать чаще? Как без табличных триггеров узнать старые и новые значения после UPDATE? Асинхронный ввод/вывод в PostgreSQL - миф или реальность? Обсудим самую свежую информацию по самой актуальной версии СУБД.

В рамках импортозамещения ВТБ банк столкнулся с задачей перехода множества своих СУБД на СУБД PostgreSQL . Необходимо было не только мигрировать данные, но и одновременно с миграцией заменить текущее западное ПО по репликации данных. С этой задачей справился продукт СинкЭксперт специально разработанный для комплексного решения таких сложных задач. В рамках презентации нашего опыта решения таких задач мы наглядно покажем вам, как легко и быстро можно установить и настроить репликацию с помощью СинкЭксперт между двумя СУБД PosgreSQL.

Доклад посвящен эффективному управлению доступом в среде баз данных PostgrePro посредством интеграции с системой каталогов LDAP (Lightweight Directory Access Protocol). Основное внимание уделено инструменту ldap2pg, который позволяет автоматизировать процесс назначения привилегий пользователям базы данных на основании информации из корпоративного каталога LDAP. Будут рассмотрены следующие аспекты: - Принципы работы инструмента ldap2pg и интеграция с системами контроля доступа LDAP (в частности, MS AD). - "Подводные камни" при внедрении ldap2pg в СУБД PostgresPro. - Оптимальные сценарии развертывания и конфигурирования для минимизации рисков несанкционированного доступа. - Практические рекомендации по повышению уровня безопасности баз данных путем централизованного управления ролями и правами пользователей. - Пример успешного применения интеграции MS AD и PostgrePro. Цель доклада — продемонстрировать преимущества автоматизации процессов управления пользователями и полномочиями в крупных информационных системах, повышая эффективность работы администраторов баз данных и снижая риски нарушения информационной безопасности организации.

Мастер-класс познакомит вас с эффективными методами решения проблем при использовании баз данных 1С с высокой нагрузкой при работе с регламентными задачами, такими как: закрытие финансового периода, расчет себестоимости и др. Также поделимся рецептами, которые помогут распределить нагрузку между серверами для улучшения производительности и снижения нагрузки на мастер-сервер. На мастер-классе расскажем о: • Возможностях работы СУБД Postgres Pro Enterprise для 1С • Рекомендуемых конфигурациях HW & SW для оптимальной работы • Особенностях настройки СУБД для оптимальной работы, высокой производительности и организации отказоустойчивости • Оптимизации производительности «1С» на СУБД Postgres Pro Enterprise на реальных примерах.

Хороший баг стоит починить несколько раз. Отличный баг можно чинить десятилетями! Один из первых инцидентов в работе над которыми я принял участие был связан с распуханимем папок multixact members\offsets. И до сих пор я там что-то чиню и чиню. Но вот последние два года более интенсивно, кажется почити починил. При этом баги довольно редкие, в pgsql-hackers 3 упоминания за 10 лет... В докладе я расскажу как мультитранзакции работали, как работают и как будут работать. И это три разных непохожих системы!

В докладе я анонсирую нашу новую демонстрационную базу данных авиаперевозок, выходящую спустя восемь лет после создания первой версии. Объясню, что и почему мы решили поменять в схеме данных и самом наполнении, покажу примеры, а также расскажу о генераторе, с помощью которого вы сможете создать собственную демобазу с городами и перелетами, причем любого размера.

В апреле прошлого года мы выпустили версию PG-PROBACKUP3 3.1.0, в которой появилась новая функция — FUSE. Она позволяет монтировать бэкап PostgreSQL как файловую систему и получать доступ к данным напрямую, без полного восстановления. В докладе мы разберём идейно, как работает FUSE, и где эта возможность может применяться на практике. Покажем, как новая функция меняет подход к работе с резервными копиями и помогает экономить время администратора.

До того как запрос попадёт к оптимизатору PostgreSQL, с ним происходит немало интересного — и полезного. В этом докладе мы разберём три небольшие, но весьма эффективные трансформации и улучшения, которые происходят ещё до запуска процесса генерации плана запроса, и которые напрямую влияют на выбор плана выполнения и производительность. 🔹 VALUES → ANY Запросы вида x IN (VALUES (...)) автоматически переписываются в форму x = ANY (ARRAY[...]). Зачем? Чтобы избежать ошибочных оценок кардинальности и избыточных JOIN-ов.

🔹 Тривиальные арифметические упрощения Выражения вроде x + 0, x * 1 или x - 0 — это не просто «визуальный шум». Без упрощения такие условия мешают оптимизатору распознать возможность использовать индекс. Простая алгебраическая трансформация может буквально превратить Seq Scan в Index Only Scan и сократить время выполнения в разы!

🔹 Кэширование подзапросов (Memoize) Когда коррелированные подзапросы вызываются много раз с одними и теми же параметрами, PostgreSQL теперь может запомнить их результат и переиспользовать, вместо того чтобы каждый раз выполнять заново. Это особенно полезно в Nested Loop-соединениях и в запросах с IN (SELECT ...).

В докладе будут приведены реальные примеры запросов и EXPLAIN ANALYZE-сравнения с до и после таких трансформаций. Мы поговорим о механике этих фич, о том, когда они срабатывают, и какие условия нужны, чтобы они принесли максимальную пользу.

Этот доклад будет полезен тем, кто хочет понимать, почему иногда "один лишний ноль" или VALUES (...) может всё испортить — или наоборот, внезапно ускорить запрос.

«От редких блюд бывают редчайшие недуги», как сказал потенциальный пятый автор Козьмы Пруткова, Хорхе Луис Борхес. Любой разработчик приложений для БД неизбежно сталкивается с загадками, пролить свет на которые призваны те или иные техники отладки. СУБД Postgres предоставляет самые разнообразные возможности для поиска истины, о чём мы и поговорим на примерах отладки SQL-запросов и хранимых функций.

На мастер-классе будут продемонстрированы несколько различных способов создания логической репликации, включая новые возможности 17й версии PostgreSQL, а также рассмотрены плюсы и минусы каждого способа. Кроме того, участники познакомятся с особенностями организации отказоустойчивого слота логической репликации.

Возможности отказоустойчивого кластера BiHA

В докладе расскажем, как мы создаём и поддерживаем пользовательскую документацию для продуктов Postgres Pro, какие инструменты для этого используем, как работаем с обратной связью от пользователей и что делаем с документацией ванильного PostgreSQL.

В данном докладе мы собираемся рассказать об опыте миграции 50+ Tb БД на Postgres. Мы сфокусируемся на процессе миграции как таковом, начиная с процесса выбора инструмента и до тонкого тюнинга процесса. Мы рассмотрим как технические, так и процессные (процедурные) аспекты такой миграции. В процессе подготовки миграции было получено множество интересных технических результатов, приходилось залезать на уровни ниже СУБД стэка, чтобы выработать приемлемые решения. Надеемся, что данный опыт будет полезен широкой аудитории.

На мастер-классе покажем, как с помощью инструмента Конвертум автоматически переносить сложную бизнес-логику из Oracle PL/SQL и T-SQL (SQL Server) в PostgreSQL, включая Postgres Pro. Разберем наиболее частые и технически сложные примеры конвертации: • пакетов, • иерархических запросов, • PIVOT, • Функций для работы с XML и JSON. Обсудим возможности кастомизации Конвертум под специфику проекта, а также применения различных опций для повышения уровня автоматической конвертации. Проведем демонстрацию инструмента на реальных сценариях и поделимся планами развития Конвертум.

Рассказ о ходе проекта по импортозамещению СУБД Oracle в высоконагруженной системе федерального уровня ГИС ГМП. Какой был выбран принципиальный подход к решению задачи в целом, как решали частные задачи: модификация структуры базы, перенос данных, адаптация приложения, тестирование и оптимизация производительности.

В докладе расскажу об интересных интеллектуалах с необычной био, мало известных сообществу постгресистов (например, о французе Бернаре Стиглере и англичанине Дэвиде Берри), об удивительных эпизодах из жизни сообщества open source. Не забудем и о полемике Эрика Реймонда с Ричардом Столлманом.

Расскажу как мы обновлялись через 6 мажорных версий, какие были сложности и как мы их разрешили.

Планировщик PostgreSQL — мощный, но у него есть слабое место: он не всегда строит планы корректно. Мы покажем, как набор расширений из Postgres Pro помогает довести его до уровня «почти телепатии». AQE (Adaptive Query Execution) позволяет переоценивать стоимость на основе реальной кардинальности и перестраивать план на лету. pgpro_multiplan — кеширование и хранение нескольких готовых планов для одного запроса: движок сам выбирает оптимальный в зависимости от параметров. pgpro_planner — набор «умных трансформаций» до оптимизатора: он переписывает запрос так, чтобы избежать ошибочных оценок, избыточных JOIN-ов и Seq Scan-ов, а оптимизатор сразу видит более быстрый вариант выполнения. Разберём, как эти расширения взаимодействуют между собой и где они реально помогают на сложных запросах.

Многие привыкли что надо защищать проды, но последние события и тренды говорят о то, что ломают уже не столько системы и сети сколько людей и видимо защищать данные надо как-то по другому... Хочу поделиться своей практикой защиты критически важных для бизнеса данных, грустными историями потерь и порассуждать о том, что теперь с этим делать

Практический мастер-класс, посвященный тонкостям работы с утилитой pg_probackup. Разберём, как с 0 настроить процедуры резервного копирования данных для кластера БД, - Покажем процесс настройки утилиты, - Проведем краткий обзор возможностей - Обсудим ключевые параметры конфигурации и поведение в типичных сценариях. -Особое внимание уделим деталям, о которых часто забывают: как корректно работать с WAL, что важно при проверке совместимости с разными версиями PostgreSQL и PostgresPro, и где чаще всего допускаются ошибки. -Расскажем о best practices, типичных ловушках и примерах «как делать не надо».

Мастер-класс будет полезен администраторам баз данных, разработчикам, студентам технических направлений и всем, кто интересуется практической стороной создания и хранения резервных копий. Уровень — от начинающего до уверенного пользователя.

Исследование механизма записи WAL в PostgreSQL с акцентом влияния на дисковую систему при высокой OLTP нагрузке. В докладе рассматриваются инструменты диагностики и даются рекомендации по настройке параметров, влияющих на поведение записи WAL.

Временные таблицы в PostgreSQL - активно используемый механизм, техническая реализация которого покрыта завесой тумана, скрывающей множество загадок: - Если они в памяти, почему создаются файлы на диске? - В каком каталоге создаются эти самые файлы и почему именно там? - Почему быстрая очистка (fasttruncate) бывает такой медленной? - Зачем нужен RAMDisk и почему его боятся? На докладе мы постараемся развеять туман и рассказать, как устроены временные таблицы, какой патч сделал ПостгресПро для их оптимизации, и, главное, какие шаги можно предпринять при настройке сервера, чтобы ускорить работу с временными таблицами.

Расскажу вам о том, как мы пытаемся восстановливать данные в технической поддержке Postgres Pro.

А знаете ли вы, как устроена внутренняя архитектура PostgreSQL и почему он считается одной из самых надёжных систем управления базами данных? Возможно, вы скажете — да, знаю.

Но что если просто почитать документацию недостаточно? Этот доклад родился из спора о том, как на самом деле работает WAL. Мы решили не останавливаться на теории и заглянули в репозиторий, чтобы разобраться в деталях.

Вместе пройдем по основным компонентам PostgreSQL — от архитектуры и процессов, через механизм MVCC, до работы VACUUM и WAL, а также блокировок. Доклад покажет, как система функционирует на практике, и поможет составить более точное представление о её устройстве, основанное на реальном коде и последних изменениях.

Этот доклад будет полезен для проверки своих знаний о работе базовых механизмов PostgreSQL и тем, кто любит не только смотреть, но и заглядывать под капот.

В докладе рассмотрим и продемонстрируем в действии инструменты ручного и автоматического управления планами запросов, возможности стабилизации производительности запросов. Все, что вы хотели знать про AQO, AQE, pgpro_multiplan, pgpro_result_cache Доклад представлен совместно с Александром Котиным - Старший менеджер продукта

• Поиск неоптимальных запросов
• Управление планом запроса
• Контроль над оптимизатором
• Автоматическое выявление деградации производительности
• Исправление проблем в реальном времени

Многим разработчикам приходится решать задачи по оптимизации различных бизнес-процессов. В данном докладе спикер расскажет, как ускорить вставку данных в PostrgeSQL. Разберем несколько подходов — от пакетных инсертов и кастомных методов до распараллеливания процесса вставки. Рассмотрим, как сохранить атомарность всей операции при распараллеливании вставки данных. Затронем тему обновлений в PostgreSQL, обсудим, почему обновление — это тяжелая операция и как можно ускориться. Кроме того, помимо обновлений, рассмотрим другие подходы к сохранению атомарности и увидим различия между ними в бенчмарках.

PAX - наше новое колоночное хранилище для Apache Cloudberry.

Его можно сравнить с parquet, но есть ряд отличий, больше характерных для подхода Partition Attributes Across by Anastassia Ailamaki et all https://vldb.org/conf/2001/P169.pdf

Если вкратце, то наш подход сочетает в себе преимущества хранения строк (NSM, N-арная модель хранения) и хранения столбцов (DSM, декомпозиционная модель хранения). В аналитических запросах производительность пакетной записи в PAX сравнима с производительностью хранения строк, а производительность чтения - с производительностью хранения столбцов.

В докладе расскажу детали нашей реализации.

Код в open-source (под лицензией Apache 2.0) https://github.com/apache/cloudberry/tree/main/contrib/pax_storage

Сейчас ядро cloudberry - Postgres 14, и собрать наше расширение под новые/ванильные postgres без доработок не получится. Но в будущем мы планируем продолжать обновлять ядро до Postgres 16 и выше, и расширение можно будет использовать и с ванильным Postgres.

Мы выросли в эпоху реляционных СУБД, ценя их строгость и предсказуемость. Но современные нагрузки требуют горизонтального масштабирования. Представьте: за привычным SQL-интерфейсом работает уже не single-instance Postgres, а распределённый кластер с множеством равноправных мастеров. К чему приведёт такой переход? Какие из реляционных практик и привычек, накопленных десятилетиями, будут полезны в распределённой среде, а какие превратятся в угрозу производительности? В этом докладе разберёмся, как эффективно использовать распределённую СУБД Shardman, избежав типичных ошибок. Будет интересно тем, кто уже выбрал Shardman в качестве текущей СУБД, кто только в процессе выбора и широкому кругу лиц, интересующемуся распределенными СУБД.

В этом долладе мы рассмотрим скорость работы PostgreSQL с ключами различных типов: Int4, Int8, Numeric, Uuid, Text. Также, сравним скорость работы текстовых ключей при различных правилах сортировки (Collation) И в заключение - сравним скорость работы 1, 20, ... 100 столбца в одной и той же таблице.

CachDB Postgres Pro 17 Postgres Pro 18 + new Extentions Postgres Pro + pgpro_duckdb + pgpro_metastore Tengri Shardman for OLTP Shardman for OLAP

1) Что такое РЦК, какие задачи она выполняет, какой функционал 2) Архитектура РЦК и где в ней применяется Postgres 3) Проблемы при переходе на импортозамещенную ИС РЦК и как они решались 4) Особенности сопровождения системы с БД PostgresPro