title

text

Ronan Dunklau
Ronan Dunklau Dalibo DBA
: декабря
45 мин

Multicorn: разработка Foreign Data Wrapper'ов на языке Python

Multicorn - это обобщенный Foreign Data Wrapper (FDW, интерфейс для подключения внешних источников данных, устоявшегося русского названия пока нет), предоставляющий возможность разработки конкретных FDW на языке Python, что упрощает их разработку.

Мы узнаем:

  • Что такое FDW, как работает Multicorn, и какие готовые FDW поставляются вместе с ним.
  • Как написать свой FDW на python, включая новый интерфейс IMPORT FOREIGN SCHEMA, появившийся в версии 9.5.
  • Внутренности Multicorn: что он делает и что не делает внутри.

После общего рассмотрения FDW и Multicorn, мы детальнее рассмотрим некоторые FDW, поставляемые с ним.

Затем проведем полный тур по API Multicorn, чтобы научить вас создавать FDW на Python, включая следующие детали:

  • испольование определений таблиц
  • пробрасывание WHERE
  • ограничения колонок
  • как влиять на планировщик
  • как писать во внешнюю таблицу
  • как работать с импортом внешней схемы
  • пробрасывание ORDER BY
  • управление транзакциями

Все это будет объяснено наглядно, с примерами кода, позволяющими слушателям с нуля создать свой FDW на Python.

Слайды

Видео

Другие доклады

  • Петр Грибанов
    Петр Грибанов Технологический евангелист
    22 мин

    "1С:Предприятие": самая популярная в России/СНГ платформа разработки с поддержкой PostgreSQL

    Более 300.000 разработчиков используют в качестве основного средства разработки технологическую платформу "1С:Предприятие". Я расскажу об особенностях идеологии и архитектуры платформы "1С:Предприятия", которые позволили ей стать одним из самых массовых средств разработки в России и СНГ, и о том, почему СУБД PostrgreSQL становится все популярнее среди пользователей технологий 1С.

  • Tatsuo  Ishii
    Tatsuo Ishii

    О построении кластеров на основе потоковой репликации и PgPool II

    Речь пойдет о кластерных решениях для PostgreSQL на основе потоковой репликации и pgpool-II, которые очень популярны в Японии. Также рассматриваются новые возможности следующей версии pgpool-II, которая будет выпущена этой зимой.

  • Andreas Scherbaum
    Andreas Scherbaum Pivotal Principal Software Engineer

    Как мы сделали Greenplum Open Source

    Greenplum — это форк PostgreSQL, оптимизированный для использования в аналитике и хранилищах данных. Компания Pivotal в начале 2015 г. анонсировала, что часть её продуктов станут продуктами Open Source, в том числе и Greenplum Database. На этом выступлении будет представлен обзор истории Greenplum, всего процесса перевода продукта в мир Open Source и препятствий, с которыми мы столкнулись. Мы также расскажем, как можно принять участие в нашем проекте.

  • Д
    Денис Иванов 2ГИС Ведущий разработчик
    22 мин

    Эволюция использования PostgreSQL в справочном API 2GIS

    • Первое появление постгреса в команде
    • Борьба с репликацией
    • Партицирование и миграции
    • Кросс-датацентровое использование
    • v8, json, jsonb, jsquery
    • Апгрейд версии postgresql

    На данный момент на продакшене бекенда справочного API 2GIS мы имеем с десяток различных баз в postgresql, около 120 шардов, миллионы записей в таблицах. При этом практически все данные хранятся в структурах jsonb

    Я расскажу об эволюции продукта с точки зрения взаимодействия с СУБД.