Архитектура платформы баз данных и опыт администрирования PostgreSQL в Skype
Большинство из основных сервисов компании Skype использует платформу баз данных, построенную на основе PostgreSQL и других open-source технологиях, таких как Skytools, plProxy, pgBouncer и других. Эта платформа состоит из нескольких сотен серверов с тысячами баз данных, которые обрабатывают сотни тысяч транзакций в секунду. При этом архитектура платформы позволяет ее пользователям (приложениям и их разработчикам) работать с "логическими" базами данных, не беспокоясь об их реальной "физической" структуре.
Наша команда Skype Database Platform занимается инфраструктурой платформы баз данных и создает системы автоматизации различных процессов, необходимые для упрощения обеспечения надежной работы сервисов, а также разработки, тестирования и развертывания кода. В своей презентации я опишу общую архитектуру платформы баз данных, сделаю обзор ее главных компонентов, а также расскажу про методы, которые мы используем в своей повседневной работе, решая проблемы в области высокой доступности, масштабирования, репликации, бесперебойного обслуживания и многих других.
Слайды
Видео
Другие доклады
-
90 мин
Дмитрий Васильев Postgres Professional DBAMamonsu - швейцарский нож для управления и мониторинга PostgreSQL
Мастер-класс будет про то как правильно мониторить PostgreSQL. Мы рассмотрим утилиту mamonsu, я покажу как её настроить, какие есть скрытые у нее возможности и как можно их расширить.
-
45 мин
Alvaro Hernandez 8Kdata CTOМиграция с MongoDB на PostgreSQL
MongoDB – популярная NoSQL CУБД, используемая в основном для работы с OLTP системами. Но из-за отсутствия требований ACID (в частности, транзакций как таковых), а также серьезных проблем с производительностью при работе с OLAP/DW нагрузками, все больше пользователей MongoDB рассматривают возможность перехода на реляционные СУБД, выбирая зачастую именно PostgreSQL. Это открывает перед сообществом PostgreSQL большие возможности по “обращению” пользователей из NoSQL в SQL. В этом докладе мы расскажем о сложностях, с которыми сталкиваются пользователи MongoDB, и представим соверменные инструменты и open-source решения, с помощью которых можно осуществить миграцию на PostgreSQL в режиме реального времени или через процесс ETL. В частности, мы обсудим ToroDB Stampede – open-source решение, которое создает реплику MongoDB в режиме реального времени, конвертирует документы JSON в реляционные таблицы и сохраняет данные в PostgreSQL.
ВИДЕО
-
45 мин
Marco Slot Citus Data Главный инженер-программистУскоряясь до миллиона записей в секунду: масштабирование PostgreSQL с помощью Citus MX
Инструмент Citus позволяет распределять таблицы PostgreSQL между несколькими серверами. Расширяя возможности PostgreSQL в плане делегирования и распараллеливания задач между группой рабочих узлов, Citus позволяет горизонтально масштабировать CPU-ресурсы и память для выполнения запросов.
Год назад мы ступили на долгий путь реализации в Citus возможности горизонтального масштабирования в новом измерении - для повышения скорости записи. Так как все запросы на запись обрабатывались через один узел PostgreSQL, скорость записи в Citus ограничивалась CPU-ресурсами одного узла. Citus MX - это новая версия Citus, которая предоставляет доступ к распределенным таблицам с любого узла, обеспечивая повышение скорости записи до уровня NoSQL решений.
-
22 мин
Михаил Каган Mellanox Technologies Технический ДиректорПостроение высокопроизводительных горизонтально-масштабируемых СУБД
Современным высокопроизводительным и горизонтально-масштабируемым СУБД в ходе своей работы требуется перемещать огромные объемы данных между компонентами системы. Справляться с этой задачей они должны быстро и без задержек для пользователей. Именно на высочайшей пропускной способности, ультранизких задержках, а также разгрузке CPU от сетевых задач фокусируется компания Mellanox при разработке своих технологий интерконнекта. В своем докладе Михаил расскажет какую роль быстрая сетевая инфраструктура играет в системах СУБД и Big Data, а также поделится опытом компании Mellanox по построению таких систем совместного с ведущими мировыми производителями.
ВИДЕО