title

text

Николай Сивко
Николай Сивко okmeter.io сооснователь
12:00 17 марта
45 мин

Диагностика postgresql с точки зрения системного администратора (не DBA)

Часто бывает так, что у вас уже есть postgresql в production, но нет выделенного DBA. Для того, чтобы база данных не была для вас черным ящиком, я расскажу как диагностировать различные проблемы в ходе эксплуатации постгреса. Мы попробуем разобраться, как ответчать на "бытовые"" вопросы обычного системного администратора: - все ли хорошо с базой сейчас - на что тратятся ресурсы сервера БД - что в первую очередь оптимизировать, чтобы уменьшить потребление ресурсов

ВИДЕО

Слайды

Другие доклады

  • Андрей Николаенко
    Андрей Николаенко Скала-Р архитектор
    Александр Коротков
    Александр Коротков Postgres Professional Руководитель разработки
    Борис Нейман
    Борис Нейман Mellanox
    22 мин

    Интерконнект на стероидах для машины баз данных Скала-СР / Postgres Pro

    В машинах баз данных от Oracle и Teradata в качестве внутренней сети применяется Infiniband, и для его использования вендорами созданы проприетарные протоколы (iDB, BYNET). Для комплексов Скала-СР / Postgres Pro применен интерконнект на базе Ethernet со всеми свойствами, присущими Infiniband — субмикросекундными задержками, стагигабитной пропускной способностью, и, главное, поддержкой RDMA — протокола прямого доступа к оперативной памяти удалённых узлов с разгрузкой центральных процессоров от транспортных операций. Специально для поддержки этих возможностей в машинах баз данных в Postgres Professional разработали программные дополнения, обеспечивающие доставку журналов упреждающей записи и координацию транзакций по RDMA, им и будет посвящена основная часть доклада. Кроме того, в докладе будут представлены конфигурации, основные технические характеристики и результаты испытаний комплексов линейки Скала-СР / Postgres Pro.

  • Филипп Дельгядо
    Филипп Дельгядо ООО «Лектон» архитектор департамента
    22 мин

    Сложные структуры без ORM

    Я очень люблю сложные предметные области, строгую типизацию в приложении и 3НФ, но очень не люблю ORM. Поэтому мне приходится активно использовать хранение сериализованных структур в json-полях (даже до появления типа json). В докладе расскажу о некоторых особенностях работы с хранением сложных объектов внутри полей СУБД, расскажу где и как подстелить себе соломку и какие проблемы могут возникнуть.

    ВИДЕО

  • Дмитрий Лебедев
    Дмитрий Лебедев BestPlace Разработчик-исследователь ГИС
    90 мин

    Исследования геоданных при помощи PostGIS и смежных инструментов

    Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

    Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

    1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
    2. Применение сторонних API для расчётов и обработки.
    3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
    4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
    5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp

  • Вадим Яценко
    Вадим Яценко ООО Прогресс Софт Начальник Отдела разработки систем хранения данных
    45 мин

    Очень большие таблицы в PostgreSQL. Или как превратить 60+ Tb в 10+ Tb

    В докладе будет рассказано о том, как мы реализовали хранение таблиц с большим количеством строк (1 млрд + строк в сутки). Проект существует в production 2 год. Это крупный транспортный проект всероссийского масштаба.

    Суммарный объем данных 300 Tb на 25 серверах PostgreSQL * 2 Data Center. Будет рассказано об ошибках организации хранения больших таблиц на начальном этапе проекта, и о том как эти ошибки были устранены. Так же расскажу о том, как организована ротация данных и архивирование. Затрону вопросы о том, чего нам не хватало в PostgreSQL 9.4 из того, что появилось в 9.5 и в 9.6. А так же, какие новые возможности, нам хотелось бы увидеть в новых релизах PostgreSQL.