Адаптивная оптимизация запросов в PostgreSQL
Оптимизация запросов является важной задачей, решение которой существенно влияет на производительность СУБД, особенно при выполнении сложных запросов. В докладе будет рассмотрен оптимизатор запросов PostgreSQL, и, в частности, задача определения мощности вершины с зависимыми условиями, которая является одной из самых известных проблем стоимостных оптимизаторов. Предлагается решение этой проблемы, использующее методы машинного обучения и доступное в виде расширения с патчем для PostgreSQL 9.6. В докладе приводятся результаты экспериментального исследования предложенного решения, обсуждаются его плюсы и минусы, а также область применимости.
ВИДЕО
Слайды
Другие доклады
-
45 мин
Alvaro Hernandez 8Kdata CTOМиграция с MongoDB на PostgreSQL
MongoDB – популярная NoSQL CУБД, используемая в основном для работы с OLTP системами. Но из-за отсутствия требований ACID (в частности, транзакций как таковых), а также серьезных проблем с производительностью при работе с OLAP/DW нагрузками, все больше пользователей MongoDB рассматривают возможность перехода на реляционные СУБД, выбирая зачастую именно PostgreSQL. Это открывает перед сообществом PostgreSQL большие возможности по “обращению” пользователей из NoSQL в SQL. В этом докладе мы расскажем о сложностях, с которыми сталкиваются пользователи MongoDB, и представим соверменные инструменты и open-source решения, с помощью которых можно осуществить миграцию на PostgreSQL в режиме реального времени или через процесс ETL. В частности, мы обсудим ToroDB Stampede – open-source решение, которое создает реплику MongoDB в режиме реального времени, конвертирует документы JSON в реляционные таблицы и сохраняет данные в PostgreSQL.
ВИДЕО
-
22 мин
Дмитрий Мельник ИСП РАН разработчикДинамическая компиляция SQL-запросов в PostgreSQL с использованием LLVM JIT
В данный момент в PostgreSQL для исполнения SQL-запросов применяется интерпретатор, реализующий модель итераторов (Volcano-модель). В то же время можно добиться существенного ускорения, выполняя динамическую компиляцию запроса «на лету». В этом случае можно генерировать код, специализированный для конкретного SQL-запроса, а также применять компиляторные оптимизации, учитывая, что во время выполнения уже известна структура используемых таблиц и типы данных. Такой подход особенно актуален для сложных запросов, скорость выполнения которых ограничена производительностью процессора.
-
22 мин
Игорь Ведёхин IBS Заместитель генерального директораСкала-СР / Postgres Pro — предконфигурированные высокопроизводительные машины баз данных
Машины баз данных — представители «высшего света» в мире корпоративных ИТ; Teradata, Exadata, Netezza — не смотря на то, что в их основе вполне доступные серверные узлы архитектуры x86 — о них говорят и пишут как о hi-end-системах, на что есть определённые основания. Объективно машины баз данных востребованы многими корпоративными заказчиками, как за уникальные возможности, так и за те удобства, которые дают готовые предконфигурированные комплексы.
Консорциум в составе системного интегратора IBS, выполнившего немало проектов по внедрению различных машин баз данных, российского вендора PostgreSQL Postgres Professional и израильской компании-разработчика суперкомпьютерных сетевых решений Mellanox представил машины баз данных в различных конфигурациях для PostgreSQL под управлением СУБД Postgres Pro Enterprise.
-
90 мин
Дмитрий Лебедев BestPlace Разработчик-исследователь ГИСИсследования геоданных при помощи PostGIS и смежных инструментов
Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.
Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.
- Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
- Применение сторонних API для расчётов и обработки.
- Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
- Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
- Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp