PGConf.Russia 2021

Данных всё больше, диски всё быстрее, оптимизатор СУБД всё умнее, но проблема "распухания" остаётся крайне актуальной. Хочу поделиться своим опытом и подходом к борьбе с этим эффектом на большом количестве таблиц и данных в них.

Расширение TimescaleDB позволяет превратить старый добрый Postgres в настоящий распределенный кластер для хранения time series данных с сохранением реляционной модели, удобного SQL и проверенной временем экосистемы. А дополнительные возможности такие, как непрерывные материализованные представления и компрессия данных, позволяют строить поистине мощные телематические хабы.

Отлаживая взаимодействие с базой данных мы регулярно сталкиваемся с зависающими или подозрительно долго выполняющимися запросами. Как узнать степень завершённости, диагностировать ошибки в написании или выполнении, не убивая уже запущенный процесс? Модуль pg_query_state - open source расширение PostgreSQL, позволяющее в реальном времени увидеть план запроса, а также статистику по каждому этапу его выполнения, чтобы своевременно выявить и воздействовать на причину проблемы. Я расскажу про уникальные возможности применения функции pg_query_state, перспективы её использования в сочетании с существующими инструментами мониторинга и создание прогресс бара выполнения запроса на её основе.

Что может быть важнее скорости в вопросе загрузки данных в базу? Миграция данных одна из самых востребованных функций в DBeaver, поэтому вопрос производительности стоял для нас очень остро, причем не только в применении для PostgreSQL, но и для Greenplum, Redshift и других баз, основанных на Postgres. Мы готовы поделиться маленькими секретами, как ускорить загрузку данных в 10, 100, 1000 и даже 10 000 раз без всякой магии.