Исследования геоданных при помощи PostGIS и смежных инструментов
Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.
Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.
- Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
- Применение сторонних API для расчётов и обработки.
- Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
- Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
- Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp
Слайды
Видео
Другие доклады
-
45 мин
Юрий Жуковец ЗАО Дилжитал-Дизайн Архитектор ПОМиграция Системы документационного управления «Приоритет» с MS SQL на Postgres
Доклад посвящён миграции Системы документационного управления «Приоритет» в рамках идеологии импортозамещения с MS SQL на Postres 9.5 и выше. Будут затронуты особенности архитектуры решения и сложности с которыми столкнулись при миграции T-SQL кода на pgsql и как они были решены.
Подробнее: https://pgconf.ru/news/94168
ВИДЕО
-
45 мин
Александр Коротков Postgres Professional Руководитель разработкиRUM-индексы и их применение
Я представлю новый метод доступа, который расширяет имеющиеся возможности GIN-индексов, используя дополнительную информацию, хранящуюся в списке/дереве идентификаторов. Например, дополнительная информация о позициях позволяет новому методу доступа возвращать результаты по релевантности, что может значительно сократить время исполнения полнотекстовых запросов. Это также может ускорить фразовый поиск, так что данный метод будет весьма эффективным при полнотекстовом поиске. Сохранение временных меток открывает перед нами несколько интересных возможностей – мы можем отсортировать результаты по времени (например, свежие статьи, удовлетворяющие полнотекстовому запросу) на основе временных меток как таковых или сохраненных указателей, упорядоченных по временным меткам. Оба способа обеспечивают на порядок большее ускорение для таких типов запросов.
-
45 мин
Peter van Hardenberg Heroku Главный исследовательИстория Postgres
Сообществу PostgreSQL уже более 20 лет, но история PostgreSQL началась задолго до его основания. Из этого доклада вы узнаете об истоках проекта Postgres, о людях, которые развивали его, как он изменился со временем и какое место в развитии PostgreSQL занимает российское сообщество.
-
90 мин
Егор Рогов Postgres Professional экспертProBackup: быстро, надежно, инкрементально
Современное состояние средств резервного копирования для PostgreSQL определенно оставляет простор для улучшений. Штатные средства дают исключительно базовую функциональность, сторонние инструменты решают некоторые, но не все, проблемы. Для того, чтобы резервная копия была надежной, могла выполняться быстро и инкрементально на уровне страниц, нужна в том числе и поддержка со стороны базы данных. На мастер-классе мы расскажем про новый инструмент резервного копирования и восстановления ProBackup, который мы разрабатываем в нашей компании, и покажем его в действии.
Скрипт демонстрации:
ФОТО: