Встроенный шардинг: текущее состояние и будущее
Шардингом базы данных называют распределение данных по большому количеству серверов для повышения производительности при работе с большими объемами данных. С появлением технологии Foreign Data Wrappers (FDW), стало возможным рассматривать шардинг в постгресе при разумном объеме изменений программного кода. Я занимаюсь улучшением инфраструктуры FDW, в т.ч. наследованием внешних таблиц и push-down запросов, что позволяет постгресу эффективно исполнять распределенные запросы через FDW. В этом докладе мы рассмотрим шардинг на FDW и его сценарии использования, затем я продемонстрирую, как организовать шардинг, и покажу, что для этого было сделано в постгресе. В заключение мы рассмотрим основные планы на будущее - в первую очередь, это асинхронное исполнение запросов и поддержка распределенных транзакций.
Слайды
Видео
Другие доклады
-
22 мин
Дмитрий Вагин Avito Lead EngineerМониторинг PostgreSQL в Авито, с примерами
Небольшой доклад о том как Avito собирает и мониторит нагрузку на базы данных. Отправка метрик из хранимых процедур в Graphite. Сбор метрик pg_stat* и отображение их в Grafana. Примеры из жизни.
ВИДЕО
-
22 мин
Дмитрий Гребенщиков Диасофт Платформа Заместитель ДиректораПрактический опыт миграции с Oracle и MS SQL Server на PostgreSQL с помощью технологии Database Adapter
Практический опыт миграции с Oracle и MS SQL Server на PostgreSQL с помощью технологии Database Adapter.
Технология миграции: - Эмуляция протоколов взаимодействия клиент-сервер. - Миграция из одной СУБД в другую, критичные отличия и способы решения. - Обзор успешных проектов. - Референс: Рассказ об опыте миграции от Босс Кадровик при участии заместителя генерального директора АО "БОСС. Кадровые системы" Гусева Михаила Анатольевича.
ВИДЕО
-
45 мин
Дмитрий Белявский ТЦИ Ведущий специалистКриптография в реляционных СУБД
При работе с данными существует необходимость криптографической защиты некоторых данных. Презентация описывает некоторые задачи, которые можно решить с помощью криптографии, и правильные подходы к применению криптографии при разработке приложений, использующих СУБД. Отдельно рассказывается от последних результатах, достигнутых в части применения криптографии в PostgreSQL.
ВИДЕО
-
45 мин
Иван Фролков Postgres Professional инженер-консультантОтчуждаемые таблицы в PostgresPro
Большие потоки данных нередко могут создавать проблемы даже с самой их загрузкой в БД - кроме загрузки собственно данных необходимо создавать для них индексы, проводить после загрузки VACUUM как для корректной работы Index-only scans и т.п. О том, как можно если не избежать этих проблем, то, по крайней мере, в значительной степени избежать их и посвящен этот доклад.
ВИДЕО