title

text

Николай Самохвалов
Николай Самохвалов Nombox LLC Основатель
13:00 06 февраля
45 мин

Промышленный подход к тюнингу PostgreSQL: эксперименты над базами данных

Shared_buffers = 25% – это много или мало? Или в самый раз? Как понять, подходит ли эта – довольно устаревшая – рекомендация в вашем конкретном случае?

Пришло время подойти к вопросу подбора параметров postgresql.conf "по-взрослому". Не с помощью слепых "автотюнеров" или устаревших советов из статей и блогов, а на основе:

  1. строго выверенных экспериментов на БД, производимых автоматизированно, в больших количествах и в условиях, максимально приближенных к "боевым",
  2. глубокого понимания особенностей работы СУБД и ОС.

Используя Nancy CLI (https://gitlab.com/postgres.ai/nancy), мы рассмотрим конкретный пример – пресловутые shared_buffers – в разных ситуациях, в разных проектах и попробуем разобраться, как же подобрать оптимальную настройку для нашей инфраструктуры, БД и нагрузки.

Слайды

Видео

Другие доклады

  • Вадим Подольный
    Вадим Подольный АО "РАСУ" Независимый эксперт
    45 мин

    Высоконагруженная распределенная система управления современной АЭС

    В докладе будет представлена новая платформа распределенной системы управления АЭС.

    Вы узнаете, как обеспечивается управление сложнейшими объектами автоматизации в мире. В режиме жесткого реального времени обеспечивается работа более 150 специальных подсистем, управляющих различными технологическими процессами АЭС, таких как система управления реактором мощностью выше 1000 МВт и турбиной весом более 2000 тонн. Более 100К источников данных от датчиков и до 500К расчетных параметров. 5 разновидностей физических процессов: нейтронная кинетика, гидродинамика, химия и радиохимия и физика прочности.

    При некоторых отклонениях вся система превращается в огромный источник DDoS полезной диагностической информации, которой всегда больше, чем способна переварить сеть и вычислительные ресурсы автоматизированной системы, что мешает нормальному управлению объектом. Вы узнаете, как мы «разруливаем» такие проблемы.

    Из доклада вы узнаете об аппаратной и программной архитектуре таких систем, узнаете, как обеспечивается резервирование и репликация данных в таких системах, зачем нужна избыточность данных и технологическое разнообразие. Как обеспечивается управление нагрузками, как устроен QoS. И что будет, если отключится система нормальной эксплуатации, как, например было на Фукусиме.

    Но мы все же про кодинг. Никаких SSD и HDD, только InMemory, структуры данных из десятков миллионов элементов, забудьте про кэш процессора, он не работает. Ваш новый Xeon 4-го поколения потерял все преимущества и превратился в "тыкву", поэтому закатываем рукава и ковыряемся в таймингах, жесточайшей аcинхронике и выжимаем из железа максимум. Кто слабое звено - процессор, память, ОС или сеть. Выясняем это.

  • Александр Смолин
    Александр Смолин Красноярский ИВЦ - СП ГВЦ - ОАО "РЖД" Программист 1 категории
    22 мин

    Настройка и профилирование виртуальной инфраструктуры VMware для интенсивного ввода/вывода PostgreSQL

    Виртуализация в компаниях стала альтернативой консервативного подхода "одна задача - один сервер", позволяющая эффективно использовать аппаратные ресурсы, централизованно управлять серверной инфраструктурой, экономить электроэнергию и ресурсы на охлаждение. В докладе рассказывается о настройке среды VMware для интенсивного ввода-вывода PostgreSQL и инструментах профилирования виртуальной инфраструктуры для контроля производительности и устранения выявленных проблем.

  • Петр Ярмуз
    Петр Ярмуз Allegro sp. z.o.o Senior Database Engineer
    45 мин

    Хакинг с Postgres 11 - pg_threads

    Мое выступление будет посвящено написанию расширений для Postgres. Я создал модуль pg_threads, который реализует упрощенную версию API POSIX потоков внутри базы данных Postgres. Он дает разработчикам баз данных новый мощный инструмент для параллельного написания кода и использования преимуществ многоядерной CPU. Существует дополнительное API для транзакционных и нетранзакционных IPC между потоками. Я покажу пример приложения, в котором реализовано преимущество нового API - линейное масштабирование равномерно на два узла. Презентация сопровождается живой демонстрацией на vagrant с двумя виртуальными машинами на Ubuntu и двуми базами данных Postgres.

  • Андрей Фефелов
    Андрей Фефелов Mastery.pro Технический директор
    90 мин

    Простой отказоустойчивый кластер на postgres, patroni, consul, s3, walg, ansible

    Patroni становится де-факто стандартом для построения отказоустойчивых кластеров Постгрес.

    В мастер-классе мы построим простой отказоустойчивый кластер из 3х нод на перечисленном стеке (на первый взгляд не выглядит простым).

    Мы кратко познакомимся с архитектурой patroni, обсудим наиболее интересные параметры конфигураций.

    Посмотрим как работает файловер и какими способами можно проинициализировать кластер.

    После мастер-класса вы сможете запустить такой кластер с нуля, используя предоставленные плейбуки ansible.