title

text

Камиль Исламов
Камиль Исламов Stickeroid Ai CTO
13:15 05 февраля
22 мин

Оптимизация обработки данных аналитических отчётов

Приводится методика, с помощью которой можно автоматизировать обновление результатов предварительной обработки аналитических данных. Предварительная обработка и кэширование отчётов позволяет моментально получать результаты отчётов по большим объёмам данных. В докладе описывается способ обновления кэшированных отчётов с минимальной нагрузкой на сервер и с управляемой степенью актуальности.

Слайды

Видео

Другие доклады

  • Александр Крижановский
    Александр Крижановский ООО "Лаборатория НатСис" Генеральный директор
    45 мин

    Linux VMM для разрабочиков СУБД

    В докладе будет рассказано о том, как Linux работает с виртуальной памятью. Будут освещены следующие вопросы:

    • устройство таблицы страниц в x86-64, переключение контекста, page fault;
    • устройство системы управления виртуальной памятью (VMM) в Linux;
    • методы вытеснение странц в Linux, page cache и анонимные страницы;
    • huge и gigantic pages, transparent huge pages;
    • как работает mmap(2) и что дают madvise(2), msync(2) и пр.;
    • почему большие СУБД не используют mmap(2), а реализуют свой пул страниц;
    • и, конечно, как потюнить VMM в Linux с помощью sysctl.

  • Сергей Бурладян
    Сергей Бурладян Avito Архитектор баз данных
    45 мин

    Администрирование PostgreSQL в Avito

    Мой доклад будет посвящён особенностям использования и администрирования PostgreSQL в Debian GNU/Linux в Avito. В частности, таким проблемам как:

    - bash скрипты
    - утилиты pg_* debian
    - отладка postgres: perf, gdb
    - COPY без разрывов: psql, pipe
    - pgbouncer: один, два, ... больше?
    - cron
    - мониторинг
    - очередь на advisory lock
    - файловый кеш
    - DDL на нагруженной базе
    - и т.д.
    

  • Михаил Тюрин
    Михаил Тюрин Avito Главный системный архитектор
    22 мин

    Пять слайдов о Postgres

    За годы моей работы с PostgreSQL возникло ясное представление, о том, каковы его основные достоинства ("Киллер-фичи", "вкусняшки"), из-за которых мы выбираем и рекомендуем выбирать эту СУБД.
    1. Начало
    2. Документация
    3. Комьюнити
    4.1 Транзакционный DDL
    4.2 WAL и настоящая физическая репликация
    4.3 Транзакционный снепшот и настоящая логическая репликация и PGQ
    4.4 Потрясающая расширяемость
    5. Успех

  • Andres  Freund
    Andres Freund Citus Data
    45 мин

    Улучшая Buffer Manager

    Менеджер буферов Postgresql разработан достаточно давно и его возраст даёт о себе знать в некоторых аспектах. Мы обсудим, как он работает сейчас, каковы его недостатки, и что делается сейчас, чтобы их исправить.

    • Поиск в кеше обходится дорого
    • Таблица сопоставлений буфера организована в виде хеш-таблицы, что затрудняет эффективную реализацию предвыборки, совмещение операция записи и очистки содержимого кеша
    • Расширение отношений плохо масштабируется
    • Вытеснение из кеша неэффективно
    • При вытеснении из кеша замещаются неправильные буферы