PgConf.Russia 2017

Современным высокопроизводительным и горизонтально-масштабируемым СУБД в ходе своей работы требуется перемещать огромные объемы данных между компонентами системы. Справляться с этой задачей они должны быстро и без задержек для пользователей. Именно на высочайшей пропускной способности, ультранизких задержках, а также разгрузке CPU от сетевых задач фокусируется компания Mellanox при разработке своих технологий интерконнекта. В своем докладе Михаил расскажет какую роль быстрая сетевая инфраструктура играет в системах СУБД и Big Data, а также поделится опытом компании Mellanox по построению таких систем совместного с ведущими мировыми производителями.

ВИДЕО

Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
2. Применение сторонних API для расчётов и обработки.
3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp

Шардингом базы данных называют распределение данных по большому количеству серверов для повышения производительности при работе с большими объемами данных. С появлением технологии Foreign Data Wrappers (FDW), стало возможным рассматривать шардинг в постгресе при разумном объеме изменений программного кода. Я занимаюсь улучшением инфраструктуры FDW, в т.ч. наследованием внешних таблиц и push-down запросов, что позволяет постгресу эффективно исполнять распределенные запросы через FDW. В этом докладе мы рассмотрим шардинг на FDW и его сценарии использования, затем я продемонстрирую, как организовать шардинг, и покажу, что для этого было сделано в постгресе. В заключение мы рассмотрим основные планы на будущее - в первую очередь, это асинхронное исполнение запросов и поддержка распределенных транзакций.

В процессе построения и эксплуатации сервиса МойСклад был разработан и поддерживается механизм для полуавтоматической корректировки схемы базы данных. В докладе - история появления и развития, варианты поддерживаемых конверсий.

ВИДЕО