Резервное копирование и восстановление PostgreSQL

Резервное копирование - один из самых обширных вопросов, который возникает после перехода на PostgreSQL. "Из коробки" PostgreSQL умеет делать два варианта резервного копирования и восстановления - это dump/restore pg_basebackup. Оба варианта имеют свои тонкости и особенности кардинально отличающие систему резервного копирования и восстановления от MS SQL. Так же в мире PostgreSQL сейчас активно развивается утилита pg_probackup, которая имеет на борту свой набор вариантов резервного копирования и восстановления со своими тонкостями и особенностями. Каждый вариант чем-то хорош, а чем-то не устраивает в разных сценариях. В докладе хочу рассказать про тонкости, особенности и лучшие практики на примере больших баз, сотен небольших баз на одном кластере PostgreSQL и просто маленьких инсталляций.

Pgpool-II работа в режиме "Master-Master" или Как должна выглядеть балансировка нагрузки PostgreSQL глазами сетевого инженера.

Одна из базовых задач для высоконагруженных проектов – это «правильно» настроенное распределение нагрузки внутри кластера базы данных (балансировка), которое бы отвечало определенным параметрам SLA. Большинство решений, с которыми я познакомился, в том числе и Pgpool-II, не в полной мере могли соответствовать требованиям бизнеса. Руками и глазами сетевого инженера мы попытаемся улучшить решение от Pgpool-II и настроим его работу в режиме «Master-Master», а так же рассмотрим случаи, в которых без аналогичных решений не обойтись.

Как поместить весь мир в обычный ноутбук: PostgreSQL и OpenStreetMap

Я покажу в PostGIS, как каждый может проанализировать геоданные всей Земли и получить ответы на свои глобальные вопросы за минуты и секунды.

Когда вы пользуетесь такси в небольших городах, вызывая машину по телефону, то с высокой вероятностью вашу поездку тарифицирует программа на основе данных OSM. Для тарификации используется какой-либо из пакетов прокладки маршрута. Благодаря этому сценарию использования, сотрудники таксопарка указывают номер дома и улицу на зданиях и делают вклад не только в свой бизнес, но и в OpenStreetMap.

В сценарии аналитики данных входят и задачи где лучше разместить торговую точку, чтобы в нее приходили покупатели. Опять же данные о шаговой доступности и населенности окресностей можно извлечь из геоданных. Можно расчитывать стоимость недвижимости на основе множества факторов связанных с расположением объекта и его окружения.

Ученые могут строить прогнозные модели для предсказания эпидемий, эволюции городов, планировать рекреационные зоны и застройку существующих территорий на основе открытых геоданных.

Ну и можно ответить на любой вопрос по географии который вам придет в голову: посчитать площади городов и построек, протяженности дорог и извлечь названия городов, областей и островов. Можете, например, стать чемпионом по игре в "Города" или основать новый сервис прокатов электро самокатов. Все ограничивается лишь вашей фантазией.

Я опубликовал https://github.com/igor-suhorukov/openstreetmap_h3 — мой проект высокопроизводительного загрузчика данных, который позволяет выполнять геоаналитику данных из OpenStreetMap в PostGIS. Он преобразует дамп OpenStreetMap всего мира или региона PBF в схему, разделенную по регионам H3. Опция столбцового хранения активирует расширение CitusDB в PostgreSQL для ускорения аналитических запросов.

Познакомимся с GEQO за 20 минут

----------------------------------------QUERY PLAN--------------------------------------------
Hash Join
  Hash Cond: (Subject = GEQO)
   -> Hash Join
        Hash Cond: (Задача оптимизатора = выбрать наилучший план выполнения запроса)
        -> Seq Scan on Количество потенциальных планов экспоненциально растет при увеличении числа таблиц в запросе
        -> Hash
              -> Seq Scan on PostgreSQL решает эту проблему с помощью использования генетического оптимизатора (GEQO)
  -> Hash
        -> Seq Scan on Темы доклада:
              Filter: ((Что такое GEQO) AND (Достоинства и недостатки) AND (Принцип работы))
(10 rows)