title

text

Дмитрий Лебедев
Дмитрий Лебедев BestPlace Разработчик-исследователь ГИС
13:30 15 марта
90 мин

Исследования геоданных при помощи PostGIS и смежных инструментов

Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

  1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
  2. Применение сторонних API для расчётов и обработки.
  3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
  4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
  5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp

Слайды

Видео

Другие доклады

  • Peter  van Hardenberg
    Peter van Hardenberg Heroku Главный исследователь
    45 мин

    История Postgres

    Сообществу PostgreSQL уже более 20 лет, но история PostgreSQL началась задолго до его основания. Из этого доклада вы узнаете об истоках проекта Postgres, о людях, которые развивали его, как он изменился со временем и какое место в развитии PostgreSQL занимает российское сообщество.

  • Владимир Бородин
    Владимир Бородин Яндекс DBA
    45 мин

    Пул соединений в масштабе

    Многие знают, что соединения в PostgreSQL дорогие, а потому их надо экономить. Для решения этой задачи давно есть PgPool-II и PgBouncer. В Яндексе никого не удивить десятками тысяч соединений к одной базе и с незапамятных времён мы используем pgbouncer. В этом докладе я расскажу о проблемах, с которыми мы сталкивались, и способах их решения.

    ВИДЕО

  • Masahiko Sawada
    Masahiko Sawada NTT OSS Center
    45 мин

    Встроенный шардинг: текущее состояние и будущее

    Шардингом базы данных называют распределение данных по большому количеству серверов для повышения производительности при работе с большими объемами данных. С появлением технологии Foreign Data Wrappers (FDW), стало возможным рассматривать шардинг в постгресе при разумном объеме изменений программного кода. Я занимаюсь улучшением инфраструктуры FDW, в т.ч. наследованием внешних таблиц и push-down запросов, что позволяет постгресу эффективно исполнять распределенные запросы через FDW. В этом докладе мы рассмотрим шардинг на FDW и его сценарии использования, затем я продемонстрирую, как организовать шардинг, и покажу, что для этого было сделано в постгресе. В заключение мы рассмотрим основные планы на будущее - в первую очередь, это асинхронное исполнение запросов и поддержка распределенных транзакций.

  • Andreas Scherbaum
    Andreas Scherbaum Pivotal Главный инженер-программист
    22 мин

    СУБД Greenplum Database с массивно-параллельной архитектурой (MPP)

    Обзор архитектуры СУБД Greenplum Database (GPDB) с массивно-параллельной архитектурой (MPP). Из этого доклада вы узнаете о внутреннем устройстве GPDB, научитесь конфигурировать и настраивать GPDB, а также распределять данные для эффективной работы с MPP.

    ВИДЕО