title

text

Константин Евтеев
Константин Евтеев X5 FoodTech Главный архитектор
18:00 04 февраля
45 мин

Поток данных в Авито

В рамках доклада речь пойдет о подсистеме транзакционного сбора изменений состояний объектов и сигналов о событиях; доставке этих данных получателям, обработке на различных этапах процесса.

1 Обзор data stream и задач, решаемых с его помощью. 2 Подготовка данных: - работа с триггерами - блокировки - сигналы 3 Доставка событий 4 Прием данных 5 Особенности согласования данных

Слайды

Видео

Другие доклады

  • Владимир Сердюк
    Владимир Сердюк SOFTPOINT Ген. директор
    22 мин

    Как построить высокоэффективную (гео)распределённую ИТ-систему при любых каналах связи?

    У вас есть распределенная ИТ-система, в ней много узлов, НО:

    • Недостаточная оперативность обмена. Задержка синхронизации – часы или дни?
    • Помехи пользователям: блокировки во время выполнения обмена?
    • Слабая управляемость - статус обмена всех узлов не ясен;
    • Низкая стабильность обмена, необходимость ручного управления?

    DBReplicaton - технология высокоскоростного обмена данными между базами PostgreSQL. В данном докладе представлено решение, работающее уже в десятках средних и крупных компании России (>2500 активных пользователей, >20 узлов обмена), которое обладает: - Собственной транспортной подсистемой; - Централизованным единым интерфейсом управления и контроля за обменом; - Двусторонним обменом: возможностью работать с данными на изменение во всех узлах, участвующих в обмене; - Высокой скоростью обмена (от 2 секунд).

    Дополнительно будет рассказано о необычном применении репликации в различных бизнес-системах.

  • Юрий Соболев
    Юрий Соболев ООО "МедиаТех" Генеральный Директор

    PostgreSQL как ядро биржи интернет-рекламы Adsterra.com

    Общая информация об adsterra.com

    • adsterra.com - биржа интернет рекламы
    • В данный момент имеет порядка 150 млн показов баннеров в сутки.120 положение в alexa.com на 30.11.2015. Записывает в postgresql до 10000(и больше) событий в секунду. Читает до 5000
    • 20 отдельных серверов под БД с различными ролями
    • Активно использует логику внутри БД. Много PL/pgsql и SQL функций.

    Причины выбора Postgresql

    • История создания adsterra.com.
    • Сжатые сроки отведенные на разработку определили выбор в пользу готовых систем хранения данных.
    • Postgresql привлек своей бесплатностью и рядом фишек, которых не было у конкурентов. Некоторые в итоге оказались полезными, некоторые не очень.

    Описание архитектуры проекта

    • Общая схема взаимодействия
    • Роли групп серверов
    • Использование различных методов для взаимодействия серверов: Потоковая репликация, Londiste, postgres_fdw. Плюсы и минусы каждого.
    • Шардинг
    • Использование SQL под OLTP

    Проблемы возникшие в ходе разработки/использования и варианты решения:

    • Материализованные представления. Проблемы с обновлением и поддержкой. Что сделали в итоге.
    • Londiste. Какие проблемы были решены в ходе разработки, а какие так и не были.
    • Проблемы потоковой репликации.
    • Автовакум и вакум.
    • Странности планировщика.
    • Конкурентный доступ.

    Крутые штуки Postgresql, которые сильно помогли

    • Массивы, intarray и GIN индексы. Но не все гладко.
    • Партиционирование. Но не все есть, что хочется.
    • PL/pgsql. Но не всегда следует его использовать.
    • unlogged таблицы. Но с умом.

    Текущие разработки и нерешенные проблемы

    • Реализация колоночной аналитики штатными средствами.
    • Проблемы странных планов запросов.
    • Логическая репликация мечты
    • Мультимастер...

  • Guangzhou  Zhang
    Guangzhou Zhang AliBaba

    Алибаба и PostgreSQL

    Наш облачный сервис по использованию реляционных баз данных предоставляет доступ к Постгресу (aliyun.com, в настоящий момент крупнейшее частное облако в Китае). Мы также используем Постгрес для наших внутренних приложений и готовы поделиться своим опытом.

  • Сергей Бурладян
    Сергей Бурладян Avito Архитектор баз данных
    45 мин

    Администрирование PostgreSQL в Avito

    Мой доклад будет посвящён особенностям использования и администрирования PostgreSQL в Debian GNU/Linux в Avito. В частности, таким проблемам как:

    - bash скрипты
    - утилиты pg_* debian
    - отладка postgres: perf, gdb
    - COPY без разрывов: psql, pipe
    - pgbouncer: один, два, ... больше?
    - cron
    - мониторинг
    - очередь на advisory lock
    - файловый кеш
    - DDL на нагруженной базе
    - и т.д.