Настройка автопланировщика с использованием цикла обратной связи
При OLAP и пакетной обрабокте данных часто наблюдается ситуация, что чем сложее запрос (содержит много джойнов, фильтров и аггрегативных функций), тем выше вероятность ошибок в оценке количества строк, в результате чего планировщик выбирает неэффективный план исполнения запроса.
Для того, чтобы решить эту проблему, я разработал инструмент под названием pg_plan_advsr - это расширение для PostgreSQL, которое исправляет ошибки оценки путем неоднократного возвращения в планировщик информации, собранной в ходе исполнения запроса.
Расширение содержит три фичи:
- Автоматическая оптимизация плана запроса за счет неоднократного возвращения информации о ходе выполнения запроса в планировщик.
- Сохранение всех выработанных при оптимизации планов запросов в таблицу истории.
- Создание и сохранение хинтов оптимизатора с тем, чтобы иметь возможность воспроизвести выработанные планы исполнения запросов в процессе настройки.
Я верифицировал эффективность pg_plan_advsr путем запуска join order benchmark (JOB) на PG 10.4, в ходе чего наблюдалось сокращение времени исполнения запроса до 50% от первоначального. Таким образом, расширение будет полезно пользователям, который хотят настроить планировщик для OLAP и пакетной обработки данных.
В ходе презентации я расскажу о следующие моментах:
- Принципы построения и архитектура pg_plan_advsr.
- Подробная информация о результатах тестирования JOB.
- Направления улучшений в будущем.
- Совместное использование расширений aqo и pg_plan_advsr together (экспериментальное).
Слайды
Видео
Другие доклады
-
90 мин
Андрей Фефелов Mastery.pro Технический директорПростой отказоустойчивый кластер на postgres, patroni, consul, s3, walg, ansible
Patroni становится де-факто стандартом для построения отказоустойчивых кластеров Постгрес.
В мастер-классе мы построим простой отказоустойчивый кластер из 3х нод на перечисленном стеке (на первый взгляд не выглядит простым).
Мы кратко познакомимся с архитектурой patroni, обсудим наиболее интересные параметры конфигураций.
Посмотрим как работает файловер и какими способами можно проинициализировать кластер.
После мастер-класса вы сможете запустить такой кластер с нуля, используя предоставленные плейбуки ansible.
-
22 мин
Артем Иванов Atos IT S&S Пресейл-инженер
Алексей Игнатов Postgres Professional DBAМиграция на СУБД PostgreSQL/Postgres Pro с многоядерными серверами Bull. Реальный опыт
При миграции на СУБД PostgreSQL/Postgres Pro многоядерные серверы требуют к себе внимательного отношения и знания настроек для параллельной работы процессов. Как обеспечить корректную и быструю работу при многотерабайтных конфигурацях?
В своем докладе Артем Иванов и Алексей Игнатов расскажут об опыте тестирования PostgreSQL и Postgres Pro на BullSequana S и Bullion S.
- Особенности данной аппаратной платформы для высонагруженных конфигураций
- Многопроцессорные Scale-up серверы и PostgreSQL/Postgres Pro
- Результаты стрессового тестирования оборудования для СУБД PostgreSQL/Postgres Pro.
-
22 мин
Алексей Лустин SilverBulleters, LLC CTOАнализ проблемных запросов как средство регулярного рефакторинга кода 1С
- Принципы поиска проблемных запросов в PostgreSQL
- Оценка гипотетических индексов и степени их влияния на планы запросов
- Наиболее часто встречающиеся ошибки у 1С-программистов
- Базовые методы рефакторинга кода с учетом особенностей PostgreSQL
- Хранение аналитической информации журнала работы PostgreSQL для оценки качества рефакторинга
-
45 мин
Мирослав Шедиви solute GmbH Senior Software DeveloperБитемпоральность: отслеживание воспроизводимых изменений в PostgreSQL с помощью типа данных RANGE
Итак, вы наконец создали модель базы данных для вашего приложения и наполнили ее текущими данными. Каким образом обеспечить их актуальность? Хотя команда INSERT может быть все еще прозрачной, команды UPDATE и DELETE перезапишут ваши предыдущие данные, так что вы не сможете их воспроизвести. Клонирование целиком огромного контента при каждом небольшом обновлении - не вариант. Для богатых и сложных данных о сотнях тысяч электрогенераторов в Германии и по всему миру я построил базу данных, используя тип данных range, недавно появившийся в PostgreSQL. Это позволило мне добавлять, обновлять и удалять данные, при том обладая полным доступом к состоянию базы данных в любой исторический момент. Во время выступления я представлю очень упрощенную версию базы данных, чтобы аудитория смогла тут же применить знания на практике. Также я покожу несколько хитрых приемов в работе с Python и Psycopg2, которые позволят всей команде подготавливать, просматривать и развертывать все изменения в базе данных без конфликтов слияния. И подкину несколько идей о том, как можно эти данные эффективно извлекать.