title

text

Константин Евтеев
Константин Евтеев X5 FoodTech Главный архитектор
18:00 04 февраля
45 мин

Поток данных в Авито

В рамках доклада речь пойдет о подсистеме транзакционного сбора изменений состояний объектов и сигналов о событиях; доставке этих данных получателям, обработке на различных этапах процесса.

1 Обзор data stream и задач, решаемых с его помощью. 2 Подготовка данных: - работа с триггерами - блокировки - сигналы 3 Доставка событий 4 Прием данных 5 Особенности согласования данных

Слайды

Видео

Другие доклады

  • Andres  Freund
    Andres Freund Citus Data
    45 мин

    Улучшая Buffer Manager

    Менеджер буферов Postgresql разработан достаточно давно и его возраст даёт о себе знать в некоторых аспектах. Мы обсудим, как он работает сейчас, каковы его недостатки, и что делается сейчас, чтобы их исправить.

    • Поиск в кеше обходится дорого
    • Таблица сопоставлений буфера организована в виде хеш-таблицы, что затрудняет эффективную реализацию предвыборки, совмещение операция записи и очистки содержимого кеша
    • Расширение отношений плохо масштабируется
    • Вытеснение из кеша неэффективно
    • При вытеснении из кеша замещаются неправильные буферы

  • Александр Крижановский
    Александр Крижановский ООО "Лаборатория НатСис" Генеральный директор
    45 мин

    Linux VMM для разрабочиков СУБД

    В докладе будет рассказано о том, как Linux работает с виртуальной памятью. Будут освещены следующие вопросы:

    • устройство таблицы страниц в x86-64, переключение контекста, page fault;
    • устройство системы управления виртуальной памятью (VMM) в Linux;
    • методы вытеснение странц в Linux, page cache и анонимные страницы;
    • huge и gigantic pages, transparent huge pages;
    • как работает mmap(2) и что дают madvise(2), msync(2) и пр.;
    • почему большие СУБД не используют mmap(2), а реализуют свой пул страниц;
    • и, конечно, как потюнить VMM в Linux с помощью sysctl.

  • Константин Книжник
    Константин Книжник Postgres Professional Ведущий разработчик

    Менеджер распределённых транзакций для кластера PostgreSQL

    В корпоративных информационных системах от СУБД требуется поддержка кластеров, для обеспечения требуемого уровня масштабирования и надёжности. К сожалению, многочисленные попытки реализовать кластеры для Постгреса, такие как Postgres-XL/XC, так и не были доведены до коммерческого уровня и не были приняты сообществом. Другие существующие решения, например, pg_shard, plproxy не поддерживают глобальных ACID транзакций. Наша команда разработала менеджер распределённых транзакций (DTM) как расширение Постгреса, позволяющее достичь глобальной целостности для нескольких экземпляров Постгреса, объединённых в один кластер. DTM - это конструктор, позволяющий реализовать различные решения на его основе. В качестве демонстрации возможностей DTM мы интегрировали его в pg_shard и postgres_fdw. Мы надеемся, что наш подход с расширяемым менеджером транзакций будет включён в версию 9.6 Постгреса и позволит разрабатывать различные кластерные решения на его основе.

  • Михаил Тюрин
    Михаил Тюрин Avito Главный системный архитектор
    22 мин

    Пять слайдов о Postgres

    За годы моей работы с PostgreSQL возникло ясное представление, о том, каковы его основные достоинства ("Киллер-фичи", "вкусняшки"), из-за которых мы выбираем и рекомендуем выбирать эту СУБД.
    1. Начало
    2. Документация
    3. Комьюнити
    4.1 Транзакционный DDL
    4.2 WAL и настоящая физическая репликация
    4.3 Транзакционный снепшот и настоящая логическая репликация и PGQ
    4.4 Потрясающая расширяемость
    5. Успех