Миграция с MongoDB на PostgreSQL

MongoDB – популярная NoSQL CУБД, используемая в основном для работы с OLTP системами. Но из-за отсутствия требований ACID (в частности, транзакций как таковых), а также серьезных проблем с производительностью при работе с OLAP/DW нагрузками, все больше пользователей MongoDB рассматривают возможность перехода на реляционные СУБД, выбирая зачастую именно PostgreSQL. Это открывает перед сообществом PostgreSQL большие возможности по “обращению” пользователей из NoSQL в SQL. В этом докладе мы расскажем о сложностях, с которыми сталкиваются пользователи MongoDB, и представим соверменные инструменты и open-source решения, с помощью которых можно осуществить миграцию на PostgreSQL в режиме реального времени или через процесс ETL. В частности, мы обсудим ToroDB Stampede – open-source решение, которое создает реплику MongoDB в режиме реального времени, конвертирует документы JSON в реляционные таблицы и сохраняет данные в PostgreSQL.

ВИДЕО

PostgreSQL в задачах транспортной аналитики при проектировании мастер-плана для ЧМ-2018 в Екатеринбурге

1) О Чемпионате мира по футболу 2018 и поставленных задачах; 2) Инструментарий отдела моделирования и аналитики; 3) Аналитика пассажиропотоков аэропорта Кольцово и железнодорожного транспорта дальнего и ближнего сообщения (Яндекс.Расписания); 4) Анализ населенности и занятости населения (2ГИС); 5) Прокладка маршрутов клиентских групп с автоматическим выводом метаинформации и сборка отчетных материалов (PostgreSQL + QGIS + Python + LaTeX); 6) Развертывание карт-сервера для предоставления доступа к маршрутам заказчику (Ubuntu + PostGIS + QGIS-Web-Client)

ВИДЕО

Тестовая среда по требованию

Вы тестируете свои релизы PostgreSQL в специально настроенной тестовой среде, прежде чем залить их в продакшен? Вы уверены, что ваша тестовая среда соответствует требованиям продуктовой среды и находится в актуальном состоянии?

В компании Skype мы сталкиваемся c разнообразными проблемами, связанными с тестированием баз данных: - Обобщение и отражение в тестовой среде всего многообразия вариантов продуктовой среды для тысяч реализаций PostgreSQL, связанных с удаленным вызовом процедур (RPC) и репликациями, серверной инфраструктурой, а также внешними скриптами БД. - Постоянно растущие требования к поддержке новых аппаратных средств, недостаточная очистка тестовых данных. - Различия между тестовой и продуктовой средой со временем накапливались.

История Postgres

Сообществу PostgreSQL уже более 20 лет, но история PostgreSQL началась задолго до его основания. Из этого доклада вы узнаете об истоках проекта Postgres, о людях, которые развивали его, как он изменился со временем и какое место в развитии PostgreSQL занимает российское сообщество.