Исследования геоданных при помощи PostGIS и смежных инструментов
Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.
Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.
- Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
- Применение сторонних API для расчётов и обработки.
- Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
- Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
- Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp
Слайды
Видео
Другие доклады
-
22 мин
Олег Бартунов Postgres Professional генеральный директорJSON в PostgreSQL: дорожная карта
В прошлом году был принят стандарт ISO/IEC 9075-2:2016, в котором наконец-то был стандартизирован синтаксис и семантика JSON и операций над ним в языке SQL. В докладе будет рассказано о требованиях этого стандарта и чем они отличаются от реализации JSON/JSONB в PostgreSQL, в частности, о JSON Path (аналог XPath для XML), о SQL/JSON функциях и о том, что мы планируем сделать в PostgreSQL для соответствия стандарту.
ВИДЕО
-
45 мин
Aleš Zelený Česká spořitelna a.s. Менеджер департамента хранения данныхВведение в PostgreSQL для Oracle DBA
Этот доклад будет интересен как Oracle DBA, рассматривающим PostgreSQL как альтернативную реляционную СУБД в своем портфолио, так и PostgreSQL DBA, которые хотят сравнить Oracle и PostgreSQL. Этот доклад не является руководством по миграции или призывом использовать ту или иную платформу. Мы сравним общую структуру обеих платформ с точки зрения конфигурирования памяти, логические структуры данных и их физическое представление, затронем некоторые вопросы безопасности, а также рассмотрим имеющиеся инструменты резервного копирования и восстановления данных.
-
22 мин
Дмитрий Кремер МИА "Россия Сегодня" Администратор баз данныхСборка PostgreSQL из исходников для системных администраторов
- зачем собирать PostgreSQL из исходников?
- выбор опций сборки
- зависимости
- создание системного окружения
- базовые настройки Linux для работы PostgreSQL
- дополнительное ПО, облегчающее жизнь администратора PostgreSQL
ВИДЕО
-
45 мин
Александр Коротков Postgres Professional Руководитель разработкиRUM-индексы и их применение
Я представлю новый метод доступа, который расширяет имеющиеся возможности GIN-индексов, используя дополнительную информацию, хранящуюся в списке/дереве идентификаторов. Например, дополнительная информация о позициях позволяет новому методу доступа возвращать результаты по релевантности, что может значительно сократить время исполнения полнотекстовых запросов. Это также может ускорить фразовый поиск, так что данный метод будет весьма эффективным при полнотекстовом поиске. Сохранение временных меток открывает перед нами несколько интересных возможностей – мы можем отсортировать результаты по времени (например, свежие статьи, удовлетворяющие полнотекстовому запросу) на основе временных меток как таковых или сохраненных указателей, упорядоченных по временным меткам. Оба способа обеспечивают на порядок большее ускорение для таких типов запросов.