Быстрый ETL для PostgreSQL
ETL – одна из первых задач, которую надо решить любому пользователю PostgreSQL. Существует ошибочное мнение, что low-code инструменты, реализующие ETL-процедуры, снижают требования к пользователю, но жертвуют производительностью и/или гибкостью. В выступлении будет продемонстрировано, что можно быстро и легко проектировать ETL-процедуры, не теряя в производительности. Рассказано, за счет чего обеспечивается высокая скорость, как используются особенности PostgreSQL и как связка PostgreSQL и low-code платформы позволяет закрыть одну из самых частых болей пользователей.
Видео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
Андрей Бородин Яндекс Разработчик
Работа с кодом PostgreSQL
Лет 7 назад я пришёл от разработки под Windows к непреодолимому желанию дописать некоторые части PostgreSQL. В этом докладе я бы хотел рассказать о деталях вещей, которые были мне не очевидны, когда я начал работать с исходным кодом, системой сборки и тестирования PG. Я собираюсь говорить о самых простых вопросах - рутинные задачи IDE, навигация, сборка и всё такое. И совсем не претендую на какой-то истинный путь. Возможно, что-то покажется совсем проблемами чайников :) Я был бы рад, если бы другие разработчики тоже поделились секретами своего разработческого быта. Можем устроить обсуждение grep vs IDE :)
-
Александр Кукушкин Zalando SE Database Engineer
Как Patroni решает проблему потери слотов логической репликации?
Более семи лет назад вышел PostgreSQL 9.4, в котором впервые появились функции логического декодирования и слоты репликации. И, спустя несколько лет, на базе этих функций в PostgreSQL 10 наконец то появилась поддержка логической репликации встроенная в ядро. Казалось бы, наступило солнечное будущее к которому мы так долго шли, если бы не пара неприятных моментов: логическая репликация не работает на репликах, плюс в PostgreSQL нет механизмов создания логических слотов на реплике. Это означает что при переключении мастера на новый узел слоты репликации теряются и на практике делает невозможным использование логической репликации и CDC для серьезных промышленных решений.
Postgres-hackers уже много лет пытаются найти решение данной задачи, но к сожалению большинство попыток и горяих дискуссий в рассылке не привели ни к чему конкретному. Но, оказывается в PostgreSQL 11 была добавлена одна маленькая функция, которая позволила решить проблему потери слотов логической репликации с помощью внешних инструментов.
В докладе я расскажу как Patroni решает данную проблему используя исключительно на возможности PostgreSQL. Мы поговорим о плюсах и минусах данного решения, и попытаемся понять безопасно ли это немного погрузившись во внутренности Postgres.
-
Александр Любушкин ООО "ФОРС Телеком" Технический директорРустам Абдрахимов ООО Форс-Телеком Главный эксперт
Опыт применения Live Universal Interface (LUI) и PostgreSQL в создании системы аналитической отчётности
Доклад посвящён применению PostgreSQL, LUI и LUI4ORA2PG для построения системы аналитической отчётности. В докладе излагаются следующие темы: * миграция из среды Oracle; * применение функций JSON; * как нам помогли временные таблицы; * собственные средства нагрузочного тестирования и выявление “узких” мест; * как делать красивые карты формата GeoJSON для отображения на них диаграмм; * установка и тестирование системы на ЭВМ “Эльбрус”; * чего нам не хватало или мешало в PostgreSQL.
С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf:
https://pgconf.ru/2019/118109 ;
https://pgconf.ru/201911/264095 ;
https://pgconf.ru/2020/262456 ;
https://pgconf.ru/2021/288310 .
-
Олег Бартунов Postgres Professional генеральный директорННикита Глухов Postgres Professional Разработчик
SQL/JSON и дальше
Расскажем о новых фичах SQL/JSON, принятых в 15-ю версию PostgreSQL. Покажем, как ими пользоваться, какие задачи они решают, и почему с ними лучше, чем без них. Полностью ли реализован стандарт SQL/2016 в части JSON? Тем временем, идет работа над следующим поколением стандарта SQL, где поддержка JSON развивается. Что там будет и как на это ответит Postgres ?