Исследования геоданных при помощи PostGIS и смежных инструментов

Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
2. Применение сторонних API для расчётов и обработки.
3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp

Сборка PostgreSQL из исходников для системных администраторов

• зачем собирать PostgreSQL из исходников?
• выбор опций сборки
• зависимости
• создание системного окружения
• базовые настройки Linux для работы PostgreSQL
• дополнительное ПО, облегчающее жизнь администратора PostgreSQL

ВИДЕО

Оптимизация запросов к данным типа “множество” с помощью индексов GIN, GiST, и пользовательских расширений для индексирования

Очевидно, что множества удобно использовать в различных типах приложений. Хотя в PostgreSQL и нет встроенного типа для множеств, до некоторой степени их можно смоделировать с помощью встроенных типов “массив” и “JSONB”. Кроме того, возможность ускорения запросов с операциями вхождения уже встроена в реализацию индексов GIN.

После краткого обзора существующей функциональности, мы рассмотрим, как добавление пользовательских типов “множество” и, в частности, модификация кода на С ("классы операторов") для индексов GIN и GiST, может повысить производительность.

Использование PostgreSQL в сервисе автоматизации контекстной рекламы Alytics для near-realtime обработки смешанной нагрузки OLTP + OLAP

В слое хранения, используя PostgreSQL с самого старта разработки, мы прошли путь от небольшого кластера на виртуалке до многохостовой системы, которая обеспечивает near real-time обработку смешанной OLTP-OLAP нагрузки. В этом докладе собираюсь рассказать про основные этапы развития нашего аналитического решения на уровне приложения и инфраструктуры, особенности эксплуатации PG, которые возникали в процессе.

ВИДЕО