title

text

Дмитрий Лебедев
Дмитрий Лебедев BestPlace Разработчик-исследователь ГИС
13:30 15 марта
90 мин

Исследования геоданных при помощи PostGIS и смежных инструментов

Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

  1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
  2. Применение сторонних API для расчётов и обработки.
  3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
  4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
  5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp

Слайды

Видео

Другие доклады

  • Александр Коротков
    Александр Коротков Postgres Professional Руководитель разработки
    45 мин

    RUM-индексы и их применение

    Я представлю новый метод доступа, который расширяет имеющиеся возможности GIN-индексов, используя дополнительную информацию, хранящуюся в списке/дереве идентификаторов. Например, дополнительная информация о позициях позволяет новому методу доступа возвращать результаты по релевантности, что может значительно сократить время исполнения полнотекстовых запросов. Это также может ускорить фразовый поиск, так что данный метод будет весьма эффективным при полнотекстовом поиске. Сохранение временных меток открывает перед нами несколько интересных возможностей – мы можем отсортировать результаты по времени (например, свежие статьи, удовлетворяющие полнотекстовому запросу) на основе временных меток как таковых или сохраненных указателей, упорядоченных по временным меткам. Оба способа обеспечивают на порядок большее ускорение для таких типов запросов.

  • Николай Сивко
    Николай Сивко okmeter.io сооснователь
    45 мин

    Диагностика postgresql с точки зрения системного администратора (не DBA)

    Часто бывает так, что у вас уже есть postgresql в production, но нет выделенного DBA. Для того, чтобы база данных не была для вас черным ящиком, я расскажу как диагностировать различные проблемы в ходе эксплуатации постгреса. Мы попробуем разобраться, как ответчать на "бытовые"" вопросы обычного системного администратора: - все ли хорошо с базой сейчас - на что тратятся ресурсы сервера БД - что в первую очередь оптимизировать, чтобы уменьшить потребление ресурсов

    ВИДЕО

  • Илья Космодемьянский
    Илья Космодемьянский Data Egret
    45 мин

    Внутреннее устройство подсистемы ввода-вывода Linux для администраторов PostgreSQL

    Вопросы производительность ввода-вывода всегда были на повестке дня DBA всё время, пока существуют базы данных. Объемы данных быстро растут и важно, чтобы чтение с диска, и особенно запись на него, оставалась быстрой.

    Для большинства СУБД сравнительно легко найти готовый чеклист по рекомендуемым настройкам Linux для максимизации производительности ввода-вывода, и он, как правильно, действительно хорош. Однако всегда полезно понимать, как и почему эти настройки работают.

    В этом докладе будет объяснено, как работает подсистема ввода-вывода в Linux, как страницы данных PostgreSQL попадают с диска в разделяемый буфер и обратно, и с помощью каких механизмов можно управлять этими процессами.

  • Александр Кукушкин
    Александр Кукушкин Zalando SE Database Engineer
    45 мин

    Отказоустойчивый PostgreSQL кластер с Patroni

    В современном мире всё больше и больше IT компаний отказываются от традиционных способов хостинга и переносят свои ресурсы в облачные сервисы. Zalando не стала исключением. Взрывной рост компании и переход к модели микросервисов потребовал внести изменения в процесс деплоймента новых инстансов баз данных и решить проблему автоматического переключения в случае выхода мастера из строя. Большинство существующих решений для автоматического переключения требуют предварительной ручной настройки каждого узла до запуска кластера. Такой подход определенно неприемлем в облаках, где ты заранее не знаешь IP адресов всех узлов.