Архитектура платформы баз данных и опыт администрирования PostgreSQL в Skype
Большинство из основных сервисов компании Skype использует платформу баз данных, построенную на основе PostgreSQL и других open-source технологиях, таких как Skytools, plProxy, pgBouncer и других. Эта платформа состоит из нескольких сотен серверов с тысячами баз данных, которые обрабатывают сотни тысяч транзакций в секунду. При этом архитектура платформы позволяет ее пользователям (приложениям и их разработчикам) работать с "логическими" базами данных, не беспокоясь об их реальной "физической" структуре.
Наша команда Skype Database Platform занимается инфраструктурой платформы баз данных и создает системы автоматизации различных процессов, необходимые для упрощения обеспечения надежной работы сервисов, а также разработки, тестирования и развертывания кода. В своей презентации я опишу общую архитектуру платформы баз данных, сделаю обзор ее главных компонентов, а также расскажу про методы, которые мы используем в своей повседневной работе, решая проблемы в области высокой доступности, масштабирования, репликации, бесперебойного обслуживания и многих других.
Слайды
Видео
Другие доклады
-
45 мин
Станислав Мерзляков ФГБУ НИИ "Восход"
Дмитрий Погибенко ФГБУ "НИИ Восход".jpg.180x180.jpg "Иван Богданов")
Иван Богданов НИИ "Восход" Ведущий разработчик
Игорь Чижевский НИИ "Восход" Заместитель руководителя департамента разработки
Сергей Королев МЦСТ инженер-программист
Илья Космодемьянский Data EgretВосход PostgreSQL на Эльбрус
Тотальное импортозамещение: не только Эльбрусы, но только хардкор. Практический опыт использования PostgreSQL на отечественном оборудовании в одной из важных государственных информационных систем.
В докладе будет рассказано о практике применение отечественного оборудования и свободного ПО, включая PostgreSQL, для миграции центра обработки данных государственной информационной системы, использовавшей оборудования и ПО IBM. Будет рассказано о применённом подходе и технологиях миграции БД “наживую” без останова работы Системы с IBM DB2 на PostgreSQL, о оптимизациях PostgreSQL для использования на процессорах Эльбрус, о практическом опыте эксплуатации cистемы.
-
90 мин
Иван Панченко Postgres Professional рзаместитель генерального директораJSON, JSONB, JSQuery
Мастер-класс рассказывает о различных практических паттернах использования JSON и связанной с ним функциональности в PostgreSQL. Речь пойдет о хранении данных в формате JSON, извлечении, изменении и поиске этих данных, возможностях, которые JSON в обычных SQL запросах, и использовании JSON в хранимых процедурах на различных языках. Ряд задач можно будет решить в предоставленных виртуальных машинах.
-
22 мин
Дмитрий Мельник ИСП РАН разработчикДинамическая компиляция SQL-запросов в PostgreSQL с использованием LLVM JIT
В данный момент в PostgreSQL для исполнения SQL-запросов применяется интерпретатор, реализующий модель итераторов (Volcano-модель). В то же время можно добиться существенного ускорения, выполняя динамическую компиляцию запроса «на лету». В этом случае можно генерировать код, специализированный для конкретного SQL-запроса, а также применять компиляторные оптимизации, учитывая, что во время выполнения уже известна структура используемых таблиц и типы данных. Такой подход особенно актуален для сложных запросов, скорость выполнения которых ограничена производительностью процессора.
-
22 мин
Дмитрий Суша ООО Испаер Системс Начальник отдела по миграции и модернизации баз данныхАвтоматизация перехода в PostgreSQL с других баз данных
В докладе будет освещена автоматизация перехода в PostgreSQL c других баз данных с помощью Ispirer Migration and Modernization Toolkit. Будут затронуты вопросы миграции данных и SQL кода, конвертации клиентских приложений, встроенного SQL и API баз данных, рассмотрены примеры осуществлённых проектов по миграции из Oracle в PostgreSQL и из Microsoft SQL Server в PostgreSQL.
ВИДЕО