Доклады

Отлаживая взаимодействие с базой данных мы регулярно сталкиваемся с зависающими или подозрительно долго выполняющимися запросами. Как узнать степень завершённости, диагностировать ошибки в написании или выполнении, не убивая уже запущенный процесс? Модуль pg_query_state - open source расширение PostgreSQL, позволяющее в реальном времени увидеть план запроса, а также статистику по каждому этапу его выполнения, чтобы своевременно выявить и воздействовать на причину проблемы. Я расскажу про уникальные возможности применения функции pg_query_state, перспективы её использования в сочетании с существующими инструментами мониторинга и создание прогресс бара выполнения запроса на её основе.

Слайды

Видео

Что может быть важнее скорости в вопросе загрузки данных в базу? Миграция данных одна из самых востребованных функций в DBeaver, поэтому вопрос производительности стоял для нас очень остро, причем не только в применении для PostgreSQL, но и для Greenplum, Redshift и других баз, основанных на Postgres. Мы готовы поделиться маленькими секретами, как ускорить загрузку данных в 10, 100, 1000 и даже 10 000 раз без всякой магии.

Слайды

Видео

Работа с запросами может внести огромный вклад в производительность сервера БД. В своём докладе я расскажу о том, какие инструменты мы используем, а также разберу некоторые примеры, которые встречались в нашей практике. Доклад будет интересен администраторам и разработчикам, которые хотели бы познакомиться с приёмами, которые мы используем в повседневной работе.

Слайды

Видео

Мы в ОЗОН делаем PostgreSQL as a service. На данный момент у нас уже тысячи кластеров. Мы знаем, какие вопросы мучают разработчиков, вот самые важные из них: как понять насколько нагружена база и почему запрос начал тормозить? В докладе я расскажу как мы помогаем разработчикам ответить на эти вопросы, просто взглянув в дашборд.

Слайды

Видео

Мы эксплуатируем большие базы данных PostgreSQL, суммарный объем которых превышает 180ТБ. На каждый инстанс кластера приходится нагрузка не менее 15 тыс запросов в секунду. Эти обстоятельства, во-первых, накладывают определенные ограничения на классические подходы накатки изменений в структуре баз данных. А во-вторых, в администрировании баз данных сильно снижается право на ошибку. Ведь небольшая ошибка или неточность может привести к тому, что ближайшая ночь станет бессонной) В своем докладе я расскажу про существующие у нас ограничения на "доставку" изменений в продуктовую среду, про неклассическое поведение базы данных под нагрузкой и вообще про PostgreSQL.

Слайды

Видео

Данных всё больше, диски всё быстрее, оптимизатор СУБД всё умнее, но проблема "распухания" остаётся крайне актуальной. Хочу поделиться своим опытом и подходом к борьбе с этим эффектом на большом количестве таблиц и данных в них.

Слайды

С необходимостью эффективного поиска ближайших соседей можно встретиться в разных задачах, например, поиск ближайших к заданной точке объектов на карте. Задача, на непрограммистский взгляд кажущаяся тривиальной (действительно, человек довольно легко справляется с ней глядя на карту) , на самом деле не имеет общего и доступного решения, что приводит к головной боли разработчиков, которые придумывают ad hoc решения (вставляют костыли). Эти решения, обычно некрасивые, портят настроение творческой натуры программиста, которому требуется посещение пивной, чтобы пережить когнитивный диссонанс :)

Действительно, если у человека есть карта, у которой есть определенный масштаб, и характерный размер поля зрения, то у программиста есть только координаты заданной точки и множество точек, которых может быть очень много (миллиарды звезд !), и к которому может идти большое количество конкурентных запросов, причем не только на чтение. Язык SQL позволяет очень красиво записать запрос, но реальный план его выполнения удручает - требуется прочитать всю таблицу, вычислить все расстояния от заданной точки, отсортировать по убыванию и оставить требуемое количество записей. Наличие индексов не спасает, а только приводит к полному обходу поискового дерева и чтения всей таблицы в случайном порядке, что гораздо медленнее простого чтения таблицы.

В действительности, класс задач, в которых требуется эффективный поиск ближайших соседей, гораздо шире задач пространственного поиска, например, задачи классификации, задачи поиска очепяток, кластеризации, дедупликации данных. Все они могут сильно выиграть от поддержки эффективного поиска ближайших соседей в СУБД, которые являются в настоящее время де-факто стандартом хранения данных. Эффективный поиск означает быстрый, конкурентный, масштабируемый поиск и поддержку различных типов данных (возможно, нестандартных), что и было реализовано 11 лет назад в PostgreSQL. Я расскажу про его реализацию, современное состояние и примеры использования.

Слайды

Видео

Поговорим о наших подходах к выбору технических решений при проектировании архитектуры систем. Их преимущества и ограничения. Как менялась наша инженерная культура с учетом требований импортозамещения. История миграции системы с классической трехзвенной архитектурой с БД Oracle на PostgresPro. Большое внимание уделено инструментам переноса данных, а так же нюансам доработки Java/Kotlin приложений и совместимости SQL между двумя СУБД.

Слайды

Видео

Все прекрасно знают, что такое отказоустойчивый кластер PostgreSQL и как такой кластер защищает от сбоев внутри одного дата-центра. Однако, в последнее время все больше предприятий предъявляют повышенные требования к своим сервисам, эти требования включают и катастрофоустойчивость. Такие кластеры мы называем катастрофоустойчивый кластер - КУК. В докладе я расскажу о разновидностях, принципах и подходах к построению КУКов PostgreSQL на основе кластерного ПО Corosync/Pacemaker.

Слайды

Видео

Расширение TimescaleDB позволяет превратить старый добрый Postgres в настоящий распределенный кластер для хранения time series данных с сохранением реляционной модели, удобного SQL и проверенной временем экосистемы. А дополнительные возможности такие, как непрерывные материализованные представления и компрессия данных, позволяют строить поистине мощные телематические хабы.

Слайды

Видео

Кратко о релевантных технологиях Intel: развитие CPU и в т.ч. возможностей для алгоритмов ИИ, Пирамида памяти скорость/объём > место PMEM, развитие шифрования, Программные инструменты для повышения производительности параллельных вычислений. Пара кейсов внедрения крупных проектов на PG + Intel

Слайды

Видео

Видео

При переносе данных возникает множество возможностей утечки данных. Как сохранить чувствительные данные и выполнить требования регуляторов? – об этом узнаете из доклада.

Слайды

Видео

На протяжении всего релизного цикла 14 версии мне довелось описывать принятые патчи в статьях посвященных каждому из пяти коммитфестов релиза. И даже в первых двух статьях о 15 версии нашлось что добавить про 14-ю. Эти статьи можно найти и прочитать на Хабре (и смело пропустить доклад :-)).

30 сентября наступил тот день, когда PostgreSQL 14 вышел официально. Больше уже ничего не должно измениться. И теперь совершенно точно можно делать финальный обзор изменений.

Однако рассказать обо всем новом в одном докладе - дело практически не реальное. Поэтому постараюсь составить свой собственный топ-лист.

Слайды

Видео

Запуск PostgreSQL в Kubernetes становится привычным делом с распространением операторов. В этом докладе расскажем про запуск отказоустойчивого PostgreSQL кластера в Kubernetes с помощью оператора, покажем, как подготовиться к падению дата центра и запуску hot-standby кластера.

Слайды

Видео

Масштабируемые процессоры Intel® Xeon® третьего поколения - добавлены новые команды для ускорения DB: vector bit manipulation instructions для сжатия без потерь, векторные инструкции для ускорения протоколов типа TLS и SGX-анклавы для безопасного исполнения кода. И, конечно, новое поколение энергонезависимой памяти Intel® Optane™ 200 серии. Рассмотрим, что эти новые технологии и открытый инструментарий oneAPI могут дать проекту PostgreSQL.

Слайды

Видео

В 2019 распределенное серверное приложение, работающего 24/7 на полигоне 16 железных дорог от Калининграда до Хабаровска плюс несколько БД центрального уровня, было перенесено с Oracle 11g SE на ванильный PostgreSQL 11.9. Прошло почти 2 года, система успешно работает. Доклад посвящен тому, как мы переходили, с какими проблемами столкнулись при переходе и при эксплуатации, а также тому, что сегодня бы мы сделали иначе.

Слайды

Видео

В расширении pgpro_scheduler есть интересная, но малоизвестная возможность - одноразовые задания. Несмотря на простоту, эта возможность вполне может быть использована для реализации сложной транзакционной обработки, что позволяет с одной стороны надежно исполнять задачи, выполняющиеся весьма продолжительное время, а с другой - надежно масштабировать приложения при соблюдении ряда условий.

Слайды

Видео