Архитектура платформы баз данных и опыт администрирования PostgreSQL в Skype
Большинство из основных сервисов компании Skype использует платформу баз данных, построенную на основе PostgreSQL и других open-source технологиях, таких как Skytools, plProxy, pgBouncer и других. Эта платформа состоит из нескольких сотен серверов с тысячами баз данных, которые обрабатывают сотни тысяч транзакций в секунду. При этом архитектура платформы позволяет ее пользователям (приложениям и их разработчикам) работать с "логическими" базами данных, не беспокоясь об их реальной "физической" структуре.
Наша команда Skype Database Platform занимается инфраструктурой платформы баз данных и создает системы автоматизации различных процессов, необходимые для упрощения обеспечения надежной работы сервисов, а также разработки, тестирования и развертывания кода. В своей презентации я опишу общую архитектуру платформы баз данных, сделаю обзор ее главных компонентов, а также расскажу про методы, которые мы используем в своей повседневной работе, решая проблемы в области высокой доступности, масштабирования, репликации, бесперебойного обслуживания и многих других.
Слайды
Видео
Другие доклады
-
45 мин
Дмитрий Белобородов UIS, CoMagic Технический директорОпыт использования PostgreSQL в проектах UIS, CoMagic
Мы используем PostgreSQL с 2003 года и прошли путь от базы в пару гигабайт до кластера с текущим размером более 5Тб. Текущие кол-во таблиц > 700, число хранимых процедур ~1500. Чем готовы поделиться: - рассказать о проблемах, с которыми пришлось сталкиваться на разных этапах развития и найденными решениями - наработанными практиками администрирования - мы работаем с несколькими базами, которые тесно связаны друг с другом, используем для этого свое расширение - у нас работает несколько команд, и есть выработанная методика и инструменты, которые позволяют им не мешать друг другу - мы используем много различных стендов для тестирования, готовы рассказать по какому принципу и как мы их поднимаем - ну, и конечно, про оптимизацию, поиск узких мест и ситуаций, с которыми нам приходится сталкиваться при нагрузках
ВИДЕО
-
22 мин
Михаил Каган Mellanox Technologies Технический ДиректорПостроение высокопроизводительных горизонтально-масштабируемых СУБД
Современным высокопроизводительным и горизонтально-масштабируемым СУБД в ходе своей работы требуется перемещать огромные объемы данных между компонентами системы. Справляться с этой задачей они должны быстро и без задержек для пользователей. Именно на высочайшей пропускной способности, ультранизких задержках, а также разгрузке CPU от сетевых задач фокусируется компания Mellanox при разработке своих технологий интерконнекта. В своем докладе Михаил расскажет какую роль быстрая сетевая инфраструктура играет в системах СУБД и Big Data, а также поделится опытом компании Mellanox по построению таких систем совместного с ведущими мировыми производителями.
ВИДЕО
-
90 мин
Федор Сигаев Postgres Professional технический директор, ведущий разработчик PostgreSQL
Артур Закиров Postgres Professional РазработчикВозможности полнотекстового поиска в PostgreSQL
Полнотекстовый поиск в PostgreSQL является, вероятно, наиболее совершенным из всех, которые имеются в реляционных СУБД. Мы расскажем о том, как настроить полнотекстовые конфигурации и словари и покажем настройку полнотекстового поиска на примере небольшого научно-популярного сайта, в котором можно выполнять поиск, используя различные функции ранжирования. Также расскажем о новом индексе RUM, который позволяет значительно ускорить некоторые виды полнотекстовых запросов и добавляет новую функцию ранжирования результатов для лучшей сортировки.
-
45 мин
Иван Фролков Postgres Professional инженер-консультантОтчуждаемые таблицы в PostgresPro
Большие потоки данных нередко могут создавать проблемы даже с самой их загрузкой в БД - кроме загрузки собственно данных необходимо создавать для них индексы, проводить после загрузки VACUUM как для корректной работы Index-only scans и т.п. О том, как можно если не избежать этих проблем, то, по крайней мере, в значительной степени избежать их и посвящен этот доклад.
ВИДЕО