Avito: где живут ваши объявления
Мы ранее рассказывали про внутренне устройство Авито, где и как хранятся ваши объявления, как эти объявления попадают в поиск. За последние 3-4 года очень много изменилось в Авито, мы избавились от использования логической репликации, использования standby для читающей нагрузки, практически отказались от хранимых процедур, избавились от самописного failover решения, мигрировали все объявления в шардированную базу данных, практически "распилили" монолит и перешли на разработку в микросервисах. Расскажу о причинах такого развития, проблемах с которыми столкнулись, и текущем положении дел.
Видео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
45 мин
Рустам Абдрахимов ООО Форс-Телеком Главный эксперт
Александр Любушкин ООО "ФОРС Телеком" Технический директорОпыт применения Live Universal Interface (LUI) и PostgreSQL в создании системы аналитической отчётности
Доклад посвящён применению PostgreSQL, LUI и LUI4ORA2PG для построения системы аналитической отчётности. В докладе излагаются следующие темы: * миграция из среды Oracle; * применение функций JSON; * как нам помогли временные таблицы; * собственные средства нагрузочного тестирования и выявление “узких” мест; * как делать красивые карты формата GeoJSON для отображения на них диаграмм; * установка и тестирование системы на ЭВМ “Эльбрус”; * чего нам не хватало или мешало в PostgreSQL.
С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf:
https://pgconf.ru/2019/118109 ;
https://pgconf.ru/201911/264095 ;
https://pgconf.ru/2020/262456 ;
https://pgconf.ru/2021/288310 .
-
45 мин
Александр Кукушкин Zalando SE Database EngineerКак Patroni решает проблему потери слотов логической репликации?
Более семи лет назад вышел PostgreSQL 9.4, в котором впервые появились функции логического декодирования и слоты репликации. И, спустя несколько лет, на базе этих функций в PostgreSQL 10 наконец то появилась поддержка логической репликации встроенная в ядро. Казалось бы, наступило солнечное будущее к которому мы так долго шли, если бы не пара неприятных моментов: логическая репликация не работает на репликах, плюс в PostgreSQL нет механизмов создания логических слотов на реплике. Это означает что при переключении мастера на новый узел слоты репликации теряются и на практике делает невозможным использование логической репликации и CDC для серьезных промышленных решений.
Postgres-hackers уже много лет пытаются найти решение данной задачи, но к сожалению большинство попыток и горяих дискуссий в рассылке не привели ни к чему конкретному. Но, оказывается в PostgreSQL 11 была добавлена одна маленькая функция, которая позволила решить проблему потери слотов логической репликации с помощью внешних инструментов.
В докладе я расскажу как Patroni решает данную проблему используя исключительно на возможности PostgreSQL. Мы поговорим о плюсах и минусах данного решения, и попытаемся понять безопасно ли это немного погрузившись во внутренности Postgres.
-
45 мин
Bruce Momjian EDB Vice President, Postgres Evangelist -
45 минММихаил Московский Postgres Professional Инженер
Скорость физической репликации в PostgreSQL.
Репликация - один из важных механизмов, призванный обеспечить отказоустойчивость и масштабируемость базы данных. В нашей практике мы регулярно сталкиваемся с проблемой низкой производительности репликации. Это побудило нас исследовать факторы, влияющие на скорость физической репликации. В этом докладе я расскажу о полученных результатах исследования. Также покажу, как менялась производительность репликации на разных версиях PostgreSQL.