Особенности мониторинга и траблшутинга высоконагруженной БД PostgreSQL
База данных - один из ключевых компонентов в любой информационной системе, требующий мониторинга множества метрик. В докладе освещены примеры и подходы мониторинга и анализа производительности PostgreSQL, которые позволяют минимизировать нагрузку на сервер баз данных со стороны системы мониторинга и сбора данных для последующего анализа проблемных ситуаций:
- Квантовые эффекты или как наблюдатель влияет на наблюдаемую систему
- Особенности сбора метрик при мониторинге БД с помощю Zabbix
- Сбор данных для аналитики и визуализации запросов PostgreSQL с помощью rsyslog + kafka + clickhouse + grafana.
- Инструменты оперативного анализа лог-файлов БД
Слайды
Видео
Другие доклады
-
Александр Коротков Postgres Professional Руководитель разработки
Подключаемые хранилища
Тема подключаемых хранилищ для PostgreSQL стала уже притчей во языцех. Период споров о том, нужны ли подключаемые хранилища, или нет закончился. Позиции скептиков, говорящих, что подключаемые хранилища не нужны, поскольку являются источником неконсистентного поведения СУБД, заметно ослабли после критики реализации MVCC в PostgreSQL со стороны Uber'а. Стало понятно, что подключаемые хранилища нужны как-минимум для альтернативной реализации MVCC через undo-лог, и это стало одним из ориентиров для проектирования интерфейса.
На текущий момент работа над подключаемыми хранилищами перешла в практическую плоскость: ведётся тред, в котором несколько человек разрабатывают набор патчей, и ещё больше делают ревью.
В данном докладе будут рассмотрены следующие вопросы:
- обзор получившегося интерфейса для подключаемых хранилищ;
- изменения в ядре PostgreSQL, которые потребовались для реализации данного интерфейса;
- текущие и потенциальные применения данного интерфейса, включая heap с undo-логом и in-memory OLTP движок;
- текущее состояние патчей и перспектива их принятия в ядро;
- дальнейшее развитие интерфейса с целю расширения возможностей подключаемых хранилищ (columnar, index-organized, LSM и т.д.).
-
Александр Коротков Postgres Professional Руководитель разработки
Credereum – Postgres с поддержкой блокчейн
Соединяем доказуемость и неизменяемость блокчейна с производительностью и эффективностью традиционных СУБД.
Технология блокчейн имеет ряд уникальных свойств, среди которых есть доказуемость и неизменямость. Каждая транзакция в блокчейне имеет цифровую подпись своего автора, которая может быть проверена любым участником сети. Кроме этого, однажды попавшие в блокчейн данные уже не могут быть изменены в дальнейшем. Тем не менее, для большинства современных информационных систем запись всех данных в публиный блокчейн оказалась бы слишком дорогой.
Credereum – это платформа, которая позволяет создавать и поддерживать базы данных, содержимое и история которых доказуемы и неизменяемы, без принесения в жертву производительности и эффективности традиционных СУБД. Благодаря Credereum владелец базы данных может доказывать корректность результатов запроса, а пользователи могут их проверять. Владельцу базы данных не обязательно раскрывать всё содержимое базы данных или всю историю транзакций для того, чтобы доказывать корректность результатов отдельного запроса к базе данных. Таким образом, база данных Credereum подходит и для хранения приватной информации. Credereum использует передовые технологии, такие как децентрализованное облако и блокчейн с шардингом. Credereum – это зарождающаяся тенология приватных и доверенных баз данных.
Мы объясним, почему PostgreSQL является подходящей основной для проекта Credereum, а также расскажем, что потребовалось доработать в постгресе для поддержки цифровых подписей и криптографического хранилища данных.
-
Андрей Николаенко Скала-Р архитекторБорис Нейман MellanoxАртур Закиров Postgres Professional Разработчик
Сетевые ускорения в комплексе Скала-СР / Postgres Pro: настоящее и будущее
В прошлом году мы представили кластерную машину баз данных Скала-СР / Postgres Pro, основной особенностью которой стала аппаратная и программная поддержка прямого доступа к оперативной памяти удалённого узла (RDMA). Первые комплексы уже установлены у заказчиков и уже с первой реализацией стали возможны конструкции, неосуществимые без RDMA и функции разгрузки CPU, доступной на сетевом оборудовании Mellanox. Тем не менее, возможности, которые даёт это оборудование, гораздо шире, и данный доклад посвящён текущим работам и перспективным направлениям развития.
-
Брюс Момжиан EnterpriseDB Senior Database Architect
Изучаем CTE и оконные функции
От разработчиков часто требуются результаты, которые трудно получить обычными SQL-запросами. К счастью, стандартом SQL предусмотрены мощные средства - общие табличные выражения (CTE) и оконные функции, который весьма расширяют круг возможного.
SQL является декларативным языком, что означает, что пользователь только формирует запрос, с база данных определяет, как его следует оптимально исполнять. CTE позволяют запросам быть более императивными, дают возможность организовать циклы и обработку иерархических структур, что обычно делается только в императивных языках.
Обычные SQL-запросы возвращают наборы строк, в которых одна строка не зависит от других. Оконные функции позволяют добавлять в запрос поля, значения которых зависят от других строк.
Этот мастер-класс поможет прикладным разработчикам в использовании CTE, что позволит перенести часть логики из приложения в SQL-код, и разъяснит возможности оконных функций и особенности их использования.
Видео
Часть I «Programming the SQL Way with CTE»
Часть II «Postgres Window Magic»