title

text

Константин Книжник
Константин Книжник Postgres Professional Ведущий разработчик
15:00 07 февраля
45 мин

VOPS: Векторное расширение Постгреса

СУБД Постгрес успешно используется во многих OLTP приложениях, выполняющих большое число простых запросов. Но для аналитики, требующей обработки большого количества данных, Постгрес на порядки отстаёт от специализированных СУБД, оптимизированных для массовой обработки данных. Скорость работы Постгреса для OLAP запросов сдерживается следующими факторами:

  • Большие накладные расходы на распаковку записей.
  • Затраты на интерпретацию запроса (Постгрес интерпретирует план выполнения запроса)
  • Поддержка работы с абстрактными типами
  • Недостатки PULL модели выполнения запроса
  • Издержки MVCC

Все эти проблемы могут быть в большой степени решены за счёт использования векторного исполнителя запросов, который за одну операцию в состоянии обработать целый блок (вектор) значений. В этом докладе описывается способ добавления векторных операций в Посгрес, с помощью стандартного механизма расширения Посгреса, без внесения изменений в ядро. Такие механизмы Посгреса как UDT (определяемые пользователем типы), FDW (абстракция внешнего поставщика данных), расширения исполнителя запросов позволяют реализовать в Постгресе вертикальный таблицы, с которыми можно работать как с обычными таблицами. Но на порядки быстрее благодаря использованию векторных операций.

Слайды

Видео

Другие доклады

  • Александр Алексеев
    Александр Алексеев Postgres Professional Software Developer
    45 мин

    PostgreSQL и пожатые документы

    Одно из преимущество документо-ориентированных баз данных, таких как MongoDB и Cochbase, перед РСУБД заключается в возможности изменять схему данных легко, быстро и часто. Традиционный подход мира РСУБД заключается в использовании дорогостоящего ALTER TABLE, медленной миграции существующих данных, и подобных вещей. Этот подход часто слишком медлен и неудобен для разработчиков приложений.

    Для решения описанной проблемы PostgreSQL предоставляет типы JSON и JSONB. Также существуют расширения zson, pg_protobuf и другие. Из этого доклада вы узнаете, как пользоваться описанными решениями, каковы их сильные и слабые стороны, и т.д. Также вы узнаете о связанных работах, которые сейчас находятся в процессе.

  • Андрей Бородин
    Андрей Бородин Яндекс Разработчик
    45 мин

    Разработка дельта-копий в WAL-G

    WAL-G - простой и эффективный инструмент для резервного копирования PostgreSQL в облака. По своей основной функциональности он является наследником популярного инструмента WAL-E, но переписанным на Go. Но в WAL-G есть одна важная новая особенность - дельта-копии. Дельта-копии WAL-G (где это возможно) хранят страницы файлов, изменившиеся с предыдущей версии резервной копии. В этом докладе я расскажу о том, как эту особенность разрабатывал.

    Наиболее важным и сложным, как ни странно, являлся вопрос интерфейса: WAL-E - простой и понятный, это свойство хотелось сохранить в первую очередь. Технические детали реализации также готовили несколько неожиданных открытий. Кроме того, хотелось бы обсудить перспективы развития технологии и поговорить о взаимодействии и координации со стороны разработчиков инструментов резервного копирования.

  • Н
    Николай Ларин Microsoft Program Manager
    45 мин

    Azure Database for PostgreSQL – как мы сделали глобальный масштабируемый сервис

    Azure Database for PostgreSQL - управляемый сервис баз данных на основе PostgreSQL Community Edition. Мы расскажем об архитектуре сервиса и реализации ключевых преимущств PostgreSQL сервиса в Azure, таких как высокий уровень доступности, масштабирование сервиса, встроенная защита и автоматическое резервное копирование. Включает демонстрацию возможностей сервиса с облачными приложениями и интеграцию с другими сервисами Azure.

  • Алексей Клюкин
    Алексей Клюкин Zalando SE Database Engineer
    Александр Кукушкин
    Александр Кукушкин Zalando SE Database Engineer
    180 мин

    Мастер-класс: Управление высокодоступными PostgreSQL кластерами с помощью Patroni

    Patroni - это Python-приложение для создания высокодоступных PostgreSQL кластеров на основе потоковой репликации. Оно используется такими компаниями как Red Hat, IBM Compose, Zalando и многими другими. С его помощью можно преобразовать систему из ведущего и ведомых узлов (primary - replica) в высокодоступный кластер с поддержкой автоматического контролируемого (switchover) и аварийного (failover) переключения. Patroni позволяет легко добавлять новые реплики в существующий кластер, поддерживает динамическое изменение конфигурации PostgreSQL одновременно на всех узлах кластера и множество других возможностей, таких как синхронная репликация, настраиваемые действия при переключении узлов, REST API, возможность запуска пользовательских команд для создания реплики вместо pg_basebackup, взаимодействие с Kubernetes и т.д.

    Слушатели мастер-класса подробно узнают, как работает Patroni, получат практические навыки настройки высокодоступных кластеров на его основе, познакомятся с различными дополнительными возможностями и поучаствуют в диагностике проблем. Будут рассмотрены следующие темы:

    • область применения: какие задачи HA успешно решаются Patroni
    • обзор архитектуры
    • создание тестового кластера
    • утилита patronictl
    • изменение конфигурации PostgreSQL для кластера, управляемого Patroni
    • мониторинг с помощью API
    • подходы к переключению клиентов
    • дополнительные возможности: ручное переключение, перезагрузка по расписанию, режим паузы
    • настройка синхронной репликации
    • расширяемость и универсальность
    • частые ошибки и их диагностика

    Для полного участия в мастер-классе вам понадобится ноутбук с установленным git, vagrant и virtual box.

    Vagrant можно загрузить со страницы https://www.vagrantup.com или установить с помощью пакетов в вашем дистрибутиве. Virtualbox: https://www.vagrantup.com

    После установки Vagrant и Virtualbox нужно выполнить:

    $ git clone https://github.com/alexeyklyukin/patroni-training
    $ cd patroni-training
    $ vagrant up
    

    После того, как patroni box поднимется и установит необходимые пакеты к нему можно подключиться с помощью vagrant ssh.