PgConf.Russia 2017

Этот доклад будет интересен как Oracle DBA, рассматривающим PostgreSQL как альтернативную реляционную СУБД в своем портфолио, так и PostgreSQL DBA, которые хотят сравнить Oracle и PostgreSQL. Этот доклад не является руководством по миграции или призывом использовать ту или иную платформу. Мы сравним общую структуру обеих платформ с точки зрения конфигурирования памяти, логические структуры данных и их физическое представление, затронем некоторые вопросы безопасности, а также рассмотрим имеющиеся инструменты резервного копирования и восстановления данных.

< Query failed: ERROR: deadlock detected
< DETAIL: Process 17371 waits for ShareLock on transaction 102733872; blocked by process 10414.
< Process 10414 waits for ShareLock on transaction 102733874; blocked by process 17371.

Подобные "неприятные" сообщения от сервера могут серьезно озадачить разработчика. При работе с блокировками, в частности, и с транзакциями в целом, следует учитывать особенности реализации клиентских библиотек, которые могут вызывать описанное выше исключение.

В кратком докладе-сообщении будет объяснена механика взаимодействия блокировок, приводящая к ситуации дедлока; приведены ссылки на документацию; разобрана техника "обхода" данной проблемы конкурентной работы с данными; показаны обобщенные приемы из практики.

Современное состояние средств резервного копирования для PostgreSQL определенно оставляет простор для улучшений. Штатные средства дают исключительно базовую функциональность, сторонние инструменты решают некоторые, но не все, проблемы. Для того, чтобы резервная копия была надежной, могла выполняться быстро и инкрементально на уровне страниц, нужна в том числе и поддержка со стороны базы данных. На мастер-классе мы расскажем про новый инструмент резервного копирования и восстановления ProBackup, который мы разрабатываем в нашей компании, и покажем его в действии.

Скрипт демонстрации:

• pg_probackup_script.txt

ФОТО:

Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
2. Применение сторонних API для расчётов и обработки.
3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp