Как поместить весь мир в обычный ноутбук: PostgreSQL и OpenStreetMap

Я покажу в PostGIS, как каждый может проанализировать геоданные всей Земли и получить ответы на свои глобальные вопросы за минуты и секунды.

Когда вы пользуетесь такси в небольших городах, вызывая машину по телефону, то с высокой вероятностью вашу поездку тарифицирует программа на основе данных OSM. Для тарификации используется какой-либо из пакетов прокладки маршрута. Благодаря этому сценарию использования, сотрудники таксопарка указывают номер дома и улицу на зданиях и делают вклад не только в свой бизнес, но и в OpenStreetMap.

В сценарии аналитики данных входят и задачи где лучше разместить торговую точку, чтобы в нее приходили покупатели. Опять же данные о шаговой доступности и населенности окресностей можно извлечь из геоданных. Можно расчитывать стоимость недвижимости на основе множества факторов связанных с расположением объекта и его окружения.

Ученые могут строить прогнозные модели для предсказания эпидемий, эволюции городов, планировать рекреационные зоны и застройку существующих территорий на основе открытых геоданных.

Ну и можно ответить на любой вопрос по географии который вам придет в голову: посчитать площади городов и построек, протяженности дорог и извлечь названия городов, областей и островов. Можете, например, стать чемпионом по игре в "Города" или основать новый сервис прокатов электро самокатов. Все ограничивается лишь вашей фантазией.

Я опубликовал https://github.com/igor-suhorukov/openstreetmap_h3 — мой проект высокопроизводительного загрузчика данных, который позволяет выполнять геоаналитику данных из OpenStreetMap в PostGIS. Он преобразует дамп OpenStreetMap всего мира или региона PBF в схему, разделенную по регионам H3. Опция столбцового хранения активирует расширение CitusDB в PostgreSQL для ускорения аналитических запросов.

RTT, RTO, RPO и синхронная репликация

Как влияют сетевые задержки на производительность при использовании синхронной репликации? Если произойдет отказ ведущего узла, сколько времени наш кластер будет недоступным? А сколько данных мы потеряем? Будут ли какие-то аномалии при чтении с реплик? Мы проектируем сеть, дайте нам минимальное значение RTT! Многим DBA приходится сталкиваться с этими вопросами при проектировании и реализации кластерных решений. В этом коротком докладе расскажем, как быстро оценить значения RTT, RTO, RPO, с помощью каких Open Source инструментов можно провести испытания кластерного решения, и экспериментально подтвердить заложенные в проект параметры, на какие значения метрик можно ориентироваться при проектировании.

Тонкости эксплуатации PostgreSQL для 1С

В процессе эксплуатации баз достаточно больших 1С на СУБД PostgreSQL часто возникают вопросы, ответы на которые не так просто найти даже в документации. Хотелось бы поделиться опытом решения таких вопросов на базе нескольких переводов 1С с MS SQL на PostgreSQL клиентов из рейтинга РБК500. В докладе будут освещены такие моменты как: Как регулировать уровень глубины расчёта статистики и чем это может быть опасно? Как создание явной и неявной временной таблицы может "положить" сервер СУБД и как с этим бороться? В каком случае процесс СУБД будет убит операционной системой из-за перерасхода оперативной памяти и что с этим делать? Чем хорошо когда на одном кластере СУБД одна база, чем плохо когда много баз на одном кластере СУБД? Как быть с ресурсами серверов для сред тестирования и разработки при подходе "1 кластер - 1 база"? Резервное копирование- тонкости разных вариантов снятия бэкапов на PostgreSQL.

Новые возможности наблюдения за СУБД Postgres и PostgresPro

В этом докладе я расскажу сразу о нескольких новых возможностях наблюдения за нагрузкой в СУБД. Среди них будут: визуализация истории наблюдений расширений pg_profile/pgpro_pwr с использованием Grafana; активные отчеты pg_profile/pgpro_pwr, позволяющие выполнять подсветку исследуемых объектов в разных секциях отчета; дальнейшее развитие расширенных статистик вакуума в версиях PostgresPro; новый интересный механизм трассировки сессий и запросов в расширении pgpro_stats.