title

text

Андрей Николаенко
Андрей Николаенко
Борис Нейман
Борис Нейман
Александр Коротков
Александр Коротков
15:30 16 марта
22 мин

Интерконнект на стероидах для машины баз данных Скала-СР / Postgres Pro

В машинах баз данных от Oracle и Teradata в качестве внутренней сети применяется Infiniband, и для его использования вендорами созданы проприетарные протоколы (iDB, BYNET). Для комплексов Скала-СР / Postgres Pro применен интерконнект на базе Ethernet со всеми свойствами, присущими Infiniband — субмикросекундными задержками, стагигабитной пропускной способностью, и, главное, поддержкой RDMA — протокола прямого доступа к оперативной памяти удалённых узлов с разгрузкой центральных процессоров от транспортных операций. Специально для поддержки этих возможностей в машинах баз данных в Postgres Professional разработали программные дополнения, обеспечивающие доставку журналов упреждающей записи и координацию транзакций по RDMA, им и будет посвящена основная часть доклада. Кроме того, в докладе будут представлены конфигурации, основные технические характеристики и результаты испытаний комплексов линейки Скала-СР / Postgres Pro.

Видео

Другие доклады

  • Дмитрий Лебедев
    Дмитрий Лебедев
    90 мин

    Исследования геоданных при помощи PostGIS и смежных инструментов

    Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

    Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

    1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
    2. Применение сторонних API для расчётов и обработки.
    3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
    4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
    5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp

  • Markus Nullmeier
    Markus Nullmeier
    45 мин

    Оптимизация запросов к данным типа “множество” с помощью индексов GIN, GiST, и пользовательских расширений для индексирования

    Очевидно, что множества удобно использовать в различных типах приложений. Хотя в PostgreSQL и нет встроенного типа для множеств, до некоторой степени их можно смоделировать с помощью встроенных типов “массив” и “JSONB”. Кроме того, возможность ускорения запросов с операциями вхождения уже встроена в реализацию индексов GIN.

    После краткого обзора существующей функциональности, мы рассмотрим, как добавление пользовательских типов “множество” и, в частности, модификация кода на С ("классы операторов") для индексов GIN и GiST, может повысить производительность.

  • Александр Алексеев
    Александр Алексеев
    22 мин

    ZSON, расширение PostgreSQL для прозрачного сжатия JSONB

    ZSON - это расширение PostgreSQL для прозрачног сжатия JSONB-документов. Сжатие основывается на использовании разделяемого словаря строк, наиболее часто используемых в заданных JSONB документах (не только ключей, но также и значений, элементов массивов, и т.д.) В некоторых случаях ZSON может сэкономить до половины дискового пространства и увеличить количество TPS на 10% за счет меньшего I/O.

    ВИДЕО

  • Masahiko Sawada
    Masahiko Sawada
    45 мин

    Встроенный шардинг: текущее состояние и будущее

    Шардингом базы данных называют распределение данных по большому количеству серверов для повышения производительности при работе с большими объемами данных. С появлением технологии Foreign Data Wrappers (FDW), стало возможным рассматривать шардинг в постгресе при разумном объеме изменений программного кода. Я занимаюсь улучшением инфраструктуры FDW, в т.ч. наследованием внешних таблиц и push-down запросов, что позволяет постгресу эффективно исполнять распределенные запросы через FDW. В этом докладе мы рассмотрим шардинг на FDW и его сценарии использования, затем я продемонстрирую, как организовать шардинг, и покажу, что для этого было сделано в постгресе. В заключение мы рассмотрим основные планы на будущее - в первую очередь, это асинхронное исполнение запросов и поддержка распределенных транзакций.