Архитектура платформы баз данных и опыт администрирования PostgreSQL в Skype
Большинство из основных сервисов компании Skype использует платформу баз данных, построенную на основе PostgreSQL и других open-source технологиях, таких как Skytools, plProxy, pgBouncer и других. Эта платформа состоит из нескольких сотен серверов с тысячами баз данных, которые обрабатывают сотни тысяч транзакций в секунду. При этом архитектура платформы позволяет ее пользователям (приложениям и их разработчикам) работать с "логическими" базами данных, не беспокоясь об их реальной "физической" структуре.
Наша команда Skype Database Platform занимается инфраструктурой платформы баз данных и создает системы автоматизации различных процессов, необходимые для упрощения обеспечения надежной работы сервисов, а также разработки, тестирования и развертывания кода. В своей презентации я опишу общую архитектуру платформы баз данных, сделаю обзор ее главных компонентов, а также расскажу про методы, которые мы используем в своей повседневной работе, решая проблемы в области высокой доступности, масштабирования, репликации, бесперебойного обслуживания и многих других.
Слайды
Видео
Другие доклады
-
90 мин
Павел Лузанов Postgres Professional Руководитель образовательных программОбзор средств для отладки, профилирования и трассировки серверного кода
Отладка, профилирование и трассировка выполняемых команд являются важной частью процесса разработки любых приложений. Это актуально и при разработке хранимых процедур в СУБД.
PostgreSQL предлагает различные инструменты (как встроенные, так и сторонние) для решения этих задач.
В докладе представлен обзор имеющихся средств, с описанием сильных и слабых сторон. А также подробная демонстрация примеров использования.
Представленный материал является частью базового курса для разработчиков серверной части приложения (DEV1), который компания “Постгрес Профессиональный” планирует анонсировать в ближайшее время.
Материалы к мастер-классу:
-
45 мин
Иван Фролков Postgres Professional инженер-консультантОтчуждаемые таблицы в PostgresPro
Большие потоки данных нередко могут создавать проблемы даже с самой их загрузкой в БД - кроме загрузки собственно данных необходимо создавать для них индексы, проводить после загрузки VACUUM как для корректной работы Index-only scans и т.п. О том, как можно если не избежать этих проблем, то, по крайней мере, в значительной степени избежать их и посвящен этот доклад.
ВИДЕО
-
45 мин
Илья Космодемьянский Data EgretВнутреннее устройство подсистемы ввода-вывода Linux для администраторов PostgreSQL
Вопросы производительность ввода-вывода всегда были на повестке дня DBA всё время, пока существуют базы данных. Объемы данных быстро растут и важно, чтобы чтение с диска, и особенно запись на него, оставалась быстрой.
Для большинства СУБД сравнительно легко найти готовый чеклист по рекомендуемым настройкам Linux для максимизации производительности ввода-вывода, и он, как правильно, действительно хорош. Однако всегда полезно понимать, как и почему эти настройки работают.
В этом докладе будет объяснено, как работает подсистема ввода-вывода в Linux, как страницы данных PostgreSQL попадают с диска в разделяемый буфер и обратно, и с помощью каких механизмов можно управлять этими процессами.
-
45 мин
Алексей Лесовский PostgreSQL Consulting LLC Администратор баз данныхПоиск и устранение проблем при эксплуатации потоковой репликации
Потоковая репликация появилась в PostgreSQL в 2010 году и практически сразу же стала очень популярной. В настоящее время практически ни одна инсталляция не обходится без использования потоковой репликации. Она надежна, высокопроизводительна и легка в настройке. Однако несмотря на все свои положительные качества, в её эксплуатации могут возникать различные проблемы и неприятные ситуации. Для диагностики и решения проблем связанных с потоковой репликацией есть как встроенные в PostgreSQL средства так и сторонние утилиты. В этом докладе я сделаю обзор инструментов и расскажу как с помощью этих средств диагностировать и устранить проблемы связанные с потоковой репликацией. Также рассмотрю проблемы которые возникают чаще всего при эксплуатации потоковой репликации и методы их решения. Доклад будет полезен DBA и системным администраторам.