title

text

Дмитрий Лебедев
Дмитрий Лебедев BestPlace Разработчик-исследователь ГИС
13:30 15 марта
90 мин

Исследования геоданных при помощи PostGIS и смежных инструментов

Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

  1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
  2. Применение сторонних API для расчётов и обработки.
  3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
  4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
  5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp
слайды

Видео

Другие доклады

  • Алексей Лесовский
    Алексей Лесовский Data Egret Администратор баз данных
    45 мин

    Поиск и устранение проблем при эксплуатации потоковой репликации

    Потоковая репликация появилась в PostgreSQL в 2010 году и практически сразу же стала очень популярной. В настоящее время практически ни одна инсталляция не обходится без использования потоковой репликации. Она надежна, высокопроизводительна и легка в настройке. Однако несмотря на все свои положительные качества, в её эксплуатации могут возникать различные проблемы и неприятные ситуации. Для диагностики и решения проблем связанных с потоковой репликацией есть как встроенные в PostgreSQL средства так и сторонние утилиты. В этом докладе я сделаю обзор инструментов и расскажу как с помощью этих средств диагностировать и устранить проблемы связанные с потоковой репликацией. Также рассмотрю проблемы которые возникают чаще всего при эксплуатации потоковой репликации и методы их решения. Доклад будет полезен DBA и системным администраторам.

  • Alvaro Hernandez
    Alvaro Hernandez 8Kdata CEO
    180 мин

    PostgreSQL и Java: мастер-класс

    Java – один из наиболее популярных языков программирования для СУБД PostgreSQL. На этом мастер-классе вы узнаете основные способы соединения с postgres и лучшие методики программирования по стандарту JDBC, а также познакомитесь с jOOQ – менеджером памяти, позволяющим использовать все возможности SQL и postgres для построения сложных запросов, не используя при этом шаблонный код.

    Мастер-класс будет носить практический характер: большую часть времени мы посвятим разбору примеров кода. Мы рассмотрим следующие темы:

    • Введение в Java и PostgreSQL.
    • Варианты соединения с PostgreSQL из Java-приложения (и не только с помощью JDBC!)
    • Введение в JDBC. Типы JDBC. PostgreSQL JDBC
    • Демонстрация кода: JDBC и PostgreSQL. От Java 1.4 к Java 8, лучшие практики и примеры кода.
    • Демонстрация кода: jOOQ, менеджер памяти для PostgreSQL.
    • Java в PostgreSQL.
    • Будущее Java и PostgreSQL.

  • Михаил Тюрин
    Михаил Тюрин ИТ предприниматель предприниматель
    22 мин

    Лок, лок – дедлок!

    < Query failed: ERROR: deadlock detected
    < DETAIL: Process 17371 waits for ShareLock on transaction 102733872; blocked by process 10414.
    < Process 10414 waits for ShareLock on transaction 102733874; blocked by process 17371.
    

    Подобные "неприятные" сообщения от сервера могут серьезно озадачить разработчика. При работе с блокировками, в частности, и с транзакциями в целом, следует учитывать особенности реализации клиентских библиотек, которые могут вызывать описанное выше исключение.

    В кратком докладе-сообщении будет объяснена механика взаимодействия блокировок, приводящая к ситуации дедлока; приведены ссылки на документацию; разобрана техника "обхода" данной проблемы конкурентной работы с данными; показаны обобщенные приемы из практики.

  • Александр Кукушкин
    Александр Кукушкин Zalando SE Database Engineer
    45 мин

    Отказоустойчивый PostgreSQL кластер с Patroni

    В современном мире всё больше и больше IT компаний отказываются от традиционных способов хостинга и переносят свои ресурсы в облачные сервисы. Zalando не стала исключением. Взрывной рост компании и переход к модели микросервисов потребовал внести изменения в процесс деплоймента новых инстансов баз данных и решить проблему автоматического переключения в случае выхода мастера из строя. Большинство существующих решений для автоматического переключения требуют предварительной ручной настройки каждого узла до запуска кластера. Такой подход определенно неприемлем в облаках, где ты заранее не знаешь IP адресов всех узлов.