title

text

Дмитрий Урсегов
Дмитрий Урсегов Postgres Professional Руководитель группы разработки
17:00 05 февраля
22 мин

Средства Greenplum для работы с внешними данными, примеры разработки коннекторов для Kafka и ClickHouse

Greenplum - это горизонтально-масштабируемая СУБД, основанная на ядре PostgreSQL.  Она используется для OLAP нагрузок и стандартной задачей является быстрая загрузка или выгрузка большого объема данных. Часто внешними ресурсами данных являются такие же распределенные системы. В этом докладе будет рассказано, какие средства есть в Greenplum для работы с внешними ресурсами, про их архитектуру и производительность: external tables, foreign tables, streaming servers. Что планируется в следующей версии. Будут приведены примеры разработки коннекторов для Kafka и ClickHouse.

слайды

Видео

Другие доклады

  • Павел Конотопов
    Павел Конотопов inCountry DBA team lead
    Леонид Альбрехт
    Леонид Альбрехт InCountry DBA
    45 мин

    Строим энтерпрайз инфрастуктуру с PostgreSQL, как основу для системы хранения персональных данных

    В своем докладе я расскажу, как мы строили географически распределенную систему хранения персональных данных на основе Open Source ПО и PostgreSQL. Концепция бизнеса «inCountry» состоит в предоставлении клиентам готовой к использованию инфраструктуры для хранения персональных данных. Чтобы пользователи были уверены в том, что персональные данные, которыми они оперируют, попадают в страну их происхождения и хранятся там безопасно, не пересекая границ государства, мы написали API и построили разнообразные сервисы. Наша система соответствуют общепринятым стандартам безопасности (SOC Type 1, Type 2, PCI DSS и т.д.). Мы строили нашу инфраструктуру с помощью Consul, Nomad и Vault, использовали PostgreSQL, ElasticSearch как системы хранения, Nginx, Jenkins, Artifactory, средства для автоматизации управления и развертывания. Собрали команду разработки, команды управления – DevOps, Security, мониторинга и DBA. Мы используем как облачных провайдеров, так и bare-metal сервера, расположенные в разных регионах мира. Разработка архитектуры системы и обеспечение устойчивости инфраструктуры, согласованной и безопасной работы всех ее компонент – главная задача, которая стоит перед нашими командами.

  • Андрей Сальников
    Андрей Сальников Data Egret DBA
    45 мин

    Поиск плохих запросов

    Работа с запросами и их оптимизация, это бесконечное приключение для разработчиков, работающих с базами данных. Часто под прицел попадают большие и долго выполняющиеся запросы, но что делать если таких запросов нет в вашем приложении? Как найти те самые запросы что портят взаимодействие между backend частью приложения и базой данных? Какие инструменты мы для этого используем? Обо всем этом будет рассказано в докладе.

  • Кирилл Боровиков
    Кирилл Боровиков ООО "Компания "Тензор" Технический директор
    45 мин

    План + запрос = ?.. Когда анализ запроса в радость

    1. Странные вещи при анализе планов, и почему они происходят - сказка о потеряном времени и "лишние" buffers.
    2. Структурные подсказки в плане. Как помочь разработчику с оптимизацией, не написав ни строчки кода.
    3. Как соотнести узлы плана с текстом запроса и что из этого можно извлечь.

  • Артем Иванов
    Артем Иванов Atos IT S&S Пресейл-инженер
    22 мин

    Не сдерживайте свои данные: Многоядерное "железо" для PostgreSQL/Postgres Pro.

    С каждым годом задачи, решаемые с использованием СУБД PostgreSQL / Postgres Pro, становятся масштабнее и используют все больше аппаратных ресурсов.

    При этом правильно выбранная архитектура серверов помогает наилучшим образом обеспечить работу базы данных.

    В ходе доклада расскажу о многопроцессорных конфигурациях серверов Atos для PostgreSQL / Postgres Pro

    Архитектура Scale-Up сервера с 8+ ЦПУ
    Варианты применения
    Примеры инсталляций