WatchDog: применение Prophet и Scikit-learn (SKLearn) в прогнозировании роста объёмов баз данных PostgreSQL.
В докладе, осветим актуальность темы прогнозирования роста баз данных PostgreSQL. Коснёмся факторов, которые влияют на рост баз данных PostgreSQL. Сравним Prophet и Scikit-learn - для решения задачи прогнозирования роста БД. Подробно расскажем о шагах, реализованных в WatchDog, по решению этой задачи, и - полученных результатах.
Слайды
Слайды доступны участникам мероприятия, выполнившим вход в личный кабинет.
Видео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
40 мин
Андрей Бородин Yandex Cloud Postgres HackerНеобычные возможности системы резервного копирования WAL-G
Типичный рабочий процесс любого решения для резервного копирования относительно прост: настройте архив для восстановления на определенный момент времени, создайте расписание ротации резервных копий и время от времени проверяйте процесс восстановления. Однако WAL-G предоставляет несколько полезных функций, которые могут пригодиться администраторам баз данных в критической ситуации:
1. Настройка троттлинга для изменения обычного режима "дешевое резервное копирование - быстрое восстановление".
2. Расширенные возможности мониторинга согласованности для обеспечения надёжности резервных копий.
3. Catchup для быстроого сокращения лага и другие функции кластера высокой доступности.
4. Различные методы извлечения набора изменений для инкрементного резервного копирования. Кроме того, я расскажу о планах на будущее, включая создание согласованных резервных копий для шардированных кластеров и использование расширенных возможностей S3. -
40 мин
Александр Котин Postgres Professional TPMИнструменты Postgres Pro для исправления, фиксации и миграции планов проблемных запросов.
Для большинства клиентских приложений существует ряд ключевых запросов, время выполнения которых не может превышать критических значений. Но из-за отставания статистик или иных причин, оптимизатор Postgres часто не может найти оптимальный план, что приводит к недопустимым задержкам. А так как запросы создаются автоматически, то исправить их со стороны клиентского приложения сложно или невозможно. В докладе расскажем о том, как можно решать такие проблемы со стороны СУБД. Покажем, как с помощью набора инструментов Postgres Pro идентифицировать такие запросы, исправлять и фиксировать планы, переносить их на реплики в автоматическом режиме, а также как осуществить перенос планов при апгрейде с 15й версии.
-
40 мин
Алексей Борщев Postgres Professional ИнженерСжатие данных с CFS
В этом докладе мы рассмотрим:
1. Что такое CFS и как она устроена
2. Какие есть настройки и параметры
3. Особенности и сюрпризы при работе с CFS CFS и встроенная компрессия PostgreSQL
4. Ограничениия CFS -
40 мин
Алена Рыбакина Postgres Professional разработчикАдаптивный исполнитель запросов
К сожалению, уже давно известны случаи, когда оптимизатор строит неоптимальный план запрос, и часто данные случаи связаны с неверной оценкой кардинальности - из-за ожидания малого количества данных, оптимизатор предпочитает выбрать NestedLoop вместо других соединений, из-за чего время выполнения запроса может растянуться по времени. Наша команда разработала расширение SwitchJoin, которое имеет возможность, помимо основного выбранного оптимизатором пути NestedLoop, сформировать запасной, и, в случае, если количество кортежей было предсказано слишком малое, может переключаться на него.