Доклады

В докладе рассмотрены мультитранзакции, в каких случаях они "появляются", как их мониторить и проверять. Возможные проблемы с переполнением счетчика мультитранзакций и описана проблема отсутствия файла в pg_multixact/offsets при восстановлении из резервной копии.

Слайды

Рассказываю про опыт выполнения проекта по импортозамещению информационной системы с СУБД Microsoft SQL Server на Postgres PRO. Владелец СУБД - АО «Росагролизинг».

СУБД содержит базу данных объемом около 6 Тб (более 300 таблиц с количеством строк до 4 млрд). Адаптировано 15 ETL пакетов и 131 процедура с полным сохранием функциональности и частичным рефакторингом исходного кода. Производительность системы осталась на прежнем уровне.

Слайды

После импортозамещения и перехода с СУБД Oracle на PostgreSQL мы столкнулись как с "детскими" болезнями нашего приложения на новой СУБД, которые успешно вылечили, так и с "хроническими заболеваниями", с которыми пришлось разбираться существенно дольше. Одной из наиболее запомнившихся проблем стала проблема деградации производительности, которая, как выяснилось, была вызвана недостаточным вакуумированием нашей БД. Опыт осознания и решения этой проблемы предлагается вашему вниманию в виде практических рекомендаций по борьбе с эффектом bloat для таблиц и индексов БД, а также настройке VACUUM/autovacuum PostgreSQL.

Слайды

Как перевести высоконагруженную информационную систему на платформе 1С:Предприятие из MS Windows/MS SQL Server на Linux/PostgreSQL так, чтобы не было мучительно больно?

Расскажем о стратегиях миграции и ключах к ее успеху. Делимся опытом в такого рода проектах, обращаем внимание на нюансы.

Слайды

В процессе эксплуатации баз достаточно больших 1С на СУБД PostgreSQL часто возникают вопросы, ответы на которые не так просто найти даже в документации. Хотелось бы поделиться опытом решения таких вопросов на базе нескольких переводов 1С с MS SQL на PostgreSQL клиентов из рейтинга РБК500. В докладе будут освещены такие моменты как: Как регулировать уровень глубины расчёта статистики и чем это может быть опасно? Как создание явной и неявной временной таблицы может "положить" сервер СУБД и как с этим бороться? В каком случае процесс СУБД будет убит операционной системой из-за перерасхода оперативной памяти и что с этим делать? Чем хорошо когда на одном кластере СУБД одна база, чем плохо когда много баз на одном кластере СУБД? Как быть с ресурсами серверов для сред тестирования и разработки при подходе "1 кластер - 1 база"? Резервное копирование- тонкости разных вариантов снятия бэкапов на PostgreSQL.

Слайды

Колоссальное значение сейчас приобретает шардинг. Размеры современных БД перешагивают 100 терабайтные пределы, вертикальное масштабирование, добавление реплик, содержащих полную физическую копию БД, становится затруднительным, особенно при дефиците вычислительных ресурсов. Шардирование базы данных – это способ горизонтально масштабироваться, разделив данные между независимыми друг от друга вычислительными узлами.

В мире PostgreSQL существуют как давно известные инструменты масштабирования: CitusDB, Greenplum, так и решения нового поколения – Cockroach DB, Yugabyte DB, SPQR, Shardman.

В нашем докладе мы будем рассуждать о разнице между этими реализациями, достоинствах и недостатках этих решений, рассмотрим текущее состоянии реализации шардинга в ванильном PostgreSQL, а также затронем и не менее важны темы – предоставления гарантий целостности и согласованности данных в масштабах распределенного кластера.

Слайды

В этом докладе я расскажу сразу о нескольких новых возможностях наблюдения за нагрузкой в СУБД. Среди них будут: визуализация истории наблюдений расширений pg_profile/pgpro_pwr с использованием Grafana; активные отчеты pg_profile/pgpro_pwr, позволяющие выполнять подсветку исследуемых объектов в разных секциях отчета; дальнейшее развитие расширенных статистик вакуума в версиях PostgresPro; новый интересный механизм трассировки сессий и запросов в расширении pgpro_stats.

Слайды

Популярная лекция с картинками о самых мощных во Вселенной явлениях, которые ставят пространство и время в неудобное положение и заставляют раскрывать его тайны мироздания тем, у кого есть пытливый ум и постгрес! Рассказ В.М. Липунова, профессора МГУ, автора известных в мире популярных и научных книг, теоретика, экспериментатора и создателя сети астрономических роботов.

Как подступаться к спасению повреждённых данных...

Слайды

• Сцилла и Харибда управления проектами;
• Сирены личных целей;
• Цирцея для IT-профессионалов;
• Полифем защиты информации.

И главное: как сделать так, чтобы ваш путь к цели не растянулся на 10 лет!

Импортозамещение не началось в прошлом году после всем известных событий. Его старт датируется 2014 годом. Именно с этого года государственные и окологосударственные компании начали прорабатывать вопрос перехода на рекомендованное ПО. Одна из таких компаний и обратилась к нам еще в 20-м году с проектом перехода с Oracle на PostgreSQL. Данный проект был призван решить накопившиеся архитектурные проблемы (не оптимальное хранение телеметрических данных, сама СУБД работала внутри виртуальной машины), оптимизировать использование дискового пространства (освободить основное хранилище, отладить сохранение архивных данных, обеспечить корректное резервное копирование). Так как система заказчика должна работать бесперебойно 24/7, то требовался переход с одной СУБД на другую без простоев, с одновременной работой обеих для обеспечения пошагового перевода подсистем и возможности контролировать корректность данных. И, само собой, работы нужно было завершить как можно быстрее.

В докладе расскажем, как нам удалось решить этот кейс.

Слайды

Разработчики pg_probackup расскажут о том, как работать с разнообразием команд pg_probackup. Покажут на примерах как делать FULL и инкрементальные бэкапы в разных режимах DELTA, PAGE, PTRACK. Продемонстрируют настройки политик резервного копирования для разных предметных областей от обслуживания сотни простых СУБД до e-commerce и fintech.

Слайды

Я покажу в PostGIS, как каждый может проанализировать геоданные всей Земли и получить ответы на свои глобальные вопросы за минуты и секунды.

Когда вы пользуетесь такси в небольших городах, вызывая машину по телефону, то с высокой вероятностью вашу поездку тарифицирует программа на основе данных OSM. Для тарификации используется какой-либо из пакетов прокладки маршрута. Благодаря этому сценарию использования, сотрудники таксопарка указывают номер дома и улицу на зданиях и делают вклад не только в свой бизнес, но и в OpenStreetMap.

В сценарии аналитики данных входят и задачи где лучше разместить торговую точку, чтобы в нее приходили покупатели. Опять же данные о шаговой доступности и населенности окресностей можно извлечь из геоданных. Можно расчитывать стоимость недвижимости на основе множества факторов связанных с расположением объекта и его окружения.

Ученые могут строить прогнозные модели для предсказания эпидемий, эволюции городов, планировать рекреационные зоны и застройку существующих территорий на основе открытых геоданных.

Ну и можно ответить на любой вопрос по географии который вам придет в голову: посчитать площади городов и построек, протяженности дорог и извлечь названия городов, областей и островов. Можете, например, стать чемпионом по игре в "Города" или основать новый сервис прокатов электро самокатов. Все ограничивается лишь вашей фантазией.

Я опубликовал https://github.com/igor-suhorukov/openstreetmap_h3 — мой проект высокопроизводительного загрузчика данных, который позволяет выполнять геоаналитику данных из OpenStreetMap в PostGIS. Он преобразует дамп OpenStreetMap всего мира или региона PBF в схему, разделенную по регионам H3. Опция столбцового хранения активирует расширение CitusDB в PostgreSQL для ускорения аналитических запросов.

Слайды

Одна из базовых задач для высоконагруженных проектов – это «правильно» настроенное распределение нагрузки внутри кластера базы данных (балансировка), которое бы отвечало определенным параметрам SLA. Большинство решений, с которыми я познакомился, в том числе и Pgpool-II, не в полной мере могли соответствовать требованиям бизнеса. Руками и глазами сетевого инженера мы попытаемся улучшить решение от Pgpool-II и настроим его работу в режиме «Master-Master», а так же рассмотрим случаи, в которых без аналогичных решений не обойтись.

Слайды

----------------------------------------QUERY PLAN--------------------------------------------
Hash Join
  Hash Cond: (Subject = GEQO)
   -> Hash Join
        Hash Cond: (Задача оптимизатора = выбрать наилучший план выполнения запроса)
        -> Seq Scan on Количество потенциальных планов экспоненциально растет при увеличении числа таблиц в запросе
        -> Hash
              -> Seq Scan on PostgreSQL решает эту проблему с помощью использования генетического оптимизатора (GEQO)
  -> Hash
        -> Seq Scan on Темы доклада:
              Filter: ((Что такое GEQO) AND (Достоинства и недостатки) AND (Принцип работы))
(10 rows)

Слайды

Я совсем не security-специалист. Но от этого будет только понятнее! Я разобрался в наиболее интересных уязвимостях старых версий Postgres и расскажу как они работали.

Слайды

Исторически PostgreSQL используется для транзакционной (OLTP) нагрузки. На это указывает строчное хранение данных и невозможность (или сложность) в организации распределённого исполнения запросов по канонам MPP (massive parallel processing) систем. Однако вследствие расширяемости ядра PostgreSQL (прежде всего, появления интерфейса подключаемых методов доступа) и либеральной лицензии (сходной с BSD) на свет появились различные форки и расширения, которые позволяют эффективно организовать обработку больших массивов данных для запросов аналитического толка.

В текущем докладе планируется дать исчерпывающий обзор форка Greenplum и расширений Citus и TimescaleDB с точки зрение разработчика по основным признакам (фичам) аналитических СУБД - колоночное хранение, сжатие данных, распределённая обработка и др. Результаты данного обзора будут полезны архитекторам, выбирающим СУБД для аналитики под свою систему.

Слайды

Одной из основных проблем при миграции с СУБД Oracle на PostgreSQL, являются пакеты PL/SQL.

В СУБД PostgreSQL отсутствует такой функционал - это приводит к необходимости переписывания (вплоть до его редизайна!) кода Oracle PL/SQL на PL/pgSQL.

В новой версии своего флагманского дистрибутива Postgres Pro 15 Enterpise компания Postgres Pro добавила поддержку функциональности пакетов: расширен синтаксис PL/pgSQL и добавлены новые механизмы в среду выполнения хранимых процедур. В докладе речь пойдет идет о поддержке функциональности пакетов в Postgres Pro 15 Enterpise: - группировка типов переменных процедур и функций в пакет; - поддержка секции инициализации пакетов; - поддержка глобальных переменных пакета доступных в течении всей "жизни" сессии.

Также в докладе будут рассмотрены особенности миграции пакетов из Oracle в СУБД Postgres Pro Enterprise.

Слайды

Современные языки программирования “из коробки” предоставляют удобные средства по организации процесса разработки, тестирования и доставки изменений. Но как быть если хочется тех же возможностей при разработке структуры БД и кода хранимых процедур и функций?

В докладе я расскажу о созданном нами инструменте для работы с кодом внутри БД. И как на его основе мы организовали процессы разработки баз данных с автоматическим тестированием и автоматической доставкой изменений на боевые экземпляры баз данных.

Слайды

Основная задача стратегического мониторинга - предоставление количественной информации о наиболее ресурсоёмких активностях СУБД с целью проведения оптимизации. Стратегический мониторинг сам по себе никакие проблемы не решает, но может подсказать на что стоит обратить внимание. Одним из таких средств является расширение pg_profile/pgpro_pwr. Об их архитектуре, возможностях, особенностях работы и способах применения и пойдёт речь.

Слайды

Данный доклад предназначен в первую очередь для компаний, а точнее для их ИТ служб, эксплуатирующих российские системы 1С 8.х и имеющих возможность работать как на СУБД MSSQL Server, так и PostgreSQL. Мы живем в уникальное время, когда наличие в своем арсенале гетерогенной ИТ-системы (системы, имеющей распределенную архитектуру, где каждый экземпляр базы данных работает под управлением разных СУБД и/или имеет разную структуру данных) является оправданным как с экономической точки зрения, так и с учетом возможных рисков. С одной стороны, мы храним данные и пользуемся СУБД с предсказуемым поведением и открытым кодом, независимо от политической обстановки. С другой стороны, мы при таком подходе пользуемся всеми преимуществами (в первую очередь производительности) мощной СУБД поддерживаемой крупнейшим вендором пускай и недружественного нам государства. Именно сейчас необходимо оценивать риски с необходимым уровнем паранойи. Возможно ведь, что данные могут быть испорчены не только на уровне логики хранения, но и методом дополнительного «скрытого» вызова конструкций типа Delete/Update на уровне движка СУБД. Поэтому сейчас актуальным становится не только мониторинг производительности ИТ-системы, но и аудит данных и их своевременная сохранность. Необходимо реализовывать процедуры верификации данных, необходимо реализовывать процедуры закрытия периодов, процедуры отказоустойчивого хранения. И соответственно, предусматривать в процедурах восстановления данных различные модели угроз. В докладе представлены варианты противодействия подобным угрозам и сценарии максимально бесшовного перехода больших баз данных на PostgeSQL, ведь именно для подобных баз проблема перевода на новую СУБД стоит особо остро.

Слайды

Adaptive Query Optimization (AQO) - это механизм, использующий данные о предыдущем исполнении, которые могут быть использованы для корректировки последующих планов запросов. В докладе подробнее обсуждается, как данное расширение при совместной работе с оптимизатором может помочь решить некоторые проблемы в оптимизации запросов.

Слайды