Ускорение исполнения запросов в PostgreSQL с использованием JIT-компилятора LLVM
В настоящее время в PostgreSQL для исполнения SQL-запросов используется интерпретатор. Это приводит к накладным расходам, связанным с неявными вызовами функций-обработчиков и проверок, которых можно было бы избежать при создании исполняемого кода "на лету" (JIT-компиляции) под конкретный SQL-запрос: в этом случае во время выполнения уже известна структура используемых таблиц и типы данных. Особенно это актуально для сложных запросов, где производительность процессора является основным ограничением. В настоящий момент существует два известных проекта, реализующих JIT-компиляцию в PostgreSQL: коммерческое решение Vitesse DB и open-source проект PGStorm. В первом проекте за счет использования LLVM JIT авторам удается получить ускорение до 8 раз на тестах из набора TPC-H. Второй проект реализует JIT-компиляцию запроса с использованием CUDA для исполнения его на GPU, что позволяет ускорить выполнение некоторых типов запросов на порядок.
Наша работа посвящена добавлению поддержки JIT-компиляции SQL-запросов в PostgreSQL с использованием компиляторной инфраструктуры LLVM. В докладе будет подробно рассмотрено, как JIT-компиляция может быть использована для ускорения различных этапов исполнения SQL-запросов, а также особенности трансляции SQL-запросов в LLVM-биткод для получения эффективного исполняемого кода. Также будут представлены предварительные результаты тестирования JIT-компилятора на наборе тестов TPC-H.
Слайды
Видео
Другие доклады
-
Pavel StehuleХранимые процедуры в PostgreSQL, язык PL/pgSQL
- Архитектура
- Дизайн и релизация языка PL/pgSQL
- Разница между PL/SQL и PL/pgSQL
- Преимущества и проблемы PL/pgSQL
-
90 мин
Алексей Игнатов Postgres Professional Администратор баз данныхМиграция с Oracle на Postgres
На мастер-классе будут рассмотрены основные принципы перехода с Oracle на Postgres. Будут указаны инструменты для данного перехода, основные различия между Oracle и Postgres в подходах к написанию запросов и построению хранимых процедур.
Также будет показаны рецепты по миграции кода PL/SQL в код PL/pgSQL, проблемы, связанные с различиями этих языков и пути их решения.
Участникам мастер-класса понадобятся ноутбуки со скачанными демонстрационными материалами: https://yadi.sk/d/Y7_DPuYroCSRh (образ для virtualbox).
Необходимо чтобы первый интерфейс принадлежал NAT network, второй host-only network. Адреса виртуалки 192.168.56.11 для NAT- сети и 192.168.57.11 для host only network
Пароли root root , oracle oracle , postgres postgres. при старте виртуальной машины автоматически запускаются базы oracle XE и postgres 9.5.
-
45 мин
Иван Гончаров IBMПочему IBM Power8 - оптимальная платформа для PostgreSQL
Что такое платформа IBM POWER8? Благодаря каким особенностям архитектуры, получается достигать большей производительности и масштабируемости PG по сравнению с x86_64? Производительность ядра, подсистемы памяти, процессорного интерконнекта и ввода/вывода. Уникальные и доступные только на POWER8 "фишки". Опыт тестирования как pgbench, так и реальных приложений.
-
45 мин
Andres Freund Citus DataУлучшая Buffer Manager
Менеджер буферов Postgresql разработан достаточно давно и его возраст даёт о себе знать в некоторых аспектах. Мы обсудим, как он работает сейчас, каковы его недостатки, и что делается сейчас, чтобы их исправить.
- Поиск в кеше обходится дорого
- Таблица сопоставлений буфера организована в виде хеш-таблицы, что затрудняет эффективную реализацию предвыборки, совмещение операция записи и очистки содержимого кеша
- Расширение отношений плохо масштабируется
- Вытеснение из кеша неэффективно
- При вытеснении из кеша замещаются неправильные буферы