PgConf.Russia 2017

Шардингом базы данных называют распределение данных по большому количеству серверов для повышения производительности при работе с большими объемами данных. С появлением технологии Foreign Data Wrappers (FDW), стало возможным рассматривать шардинг в постгресе при разумном объеме изменений программного кода. Я занимаюсь улучшением инфраструктуры FDW, в т.ч. наследованием внешних таблиц и push-down запросов, что позволяет постгресу эффективно исполнять распределенные запросы через FDW. В этом докладе мы рассмотрим шардинг на FDW и его сценарии использования, затем я продемонстрирую, как организовать шардинг, и покажу, что для этого было сделано в постгресе. В заключение мы рассмотрим основные планы на будущее - в первую очередь, это асинхронное исполнение запросов и поддержка распределенных транзакций.

При работе с данными существует необходимость криптографической защиты некоторых данных. Презентация описывает некоторые задачи, которые можно решить с помощью криптографии, и правильные подходы к применению криптографии при разработке приложений, использующих СУБД. Отдельно рассказывается от последних результатах, достигнутых в части применения криптографии в PostgreSQL.

ВИДЕО

Потоковая репликация появилась в PostgreSQL в 2010 году и практически сразу же стала очень популярной. В настоящее время практически ни одна инсталляция не обходится без использования потоковой репликации. Она надежна, высокопроизводительна и легка в настройке. Однако несмотря на все свои положительные качества, в её эксплуатации могут возникать различные проблемы и неприятные ситуации. Для диагностики и решения проблем связанных с потоковой репликацией есть как встроенные в PostgreSQL средства так и сторонние утилиты. В этом докладе я сделаю обзор инструментов и расскажу как с помощью этих средств диагностировать и устранить проблемы связанные с потоковой репликацией. Также рассмотрю проблемы которые возникают чаще всего при эксплуатации потоковой репликации и методы их решения. Доклад будет полезен DBA и системным администраторам.

Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
2. Применение сторонних API для расчётов и обработки.
3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp