Очень большие таблицы в PostgreSQL. Или как превратить 60+ Tb в 10+ Tb
В докладе будет рассказано о том, как мы реализовали хранение таблиц с большим количеством строк (1 млрд + строк в сутки). Проект существует в production 2 год. Это крупный транспортный проект всероссийского масштаба.
Суммарный объем данных 300 Tb на 25 серверах PostgreSQL * 2 Data Center. Будет рассказано об ошибках организации хранения больших таблиц на начальном этапе проекта, и о том как эти ошибки были устранены. Так же расскажу о том, как организована ротация данных и архивирование. Затрону вопросы о том, чего нам не хватало в PostgreSQL 9.4 из того, что появилось в 9.5 и в 9.6. А так же, какие новые возможности, нам хотелось бы увидеть в новых релизах PostgreSQL.
Слайды
Видео
Другие доклады
-
Alvaro Hernandez 8Kdata CTO
Миграция с MongoDB на PostgreSQL
MongoDB – популярная NoSQL CУБД, используемая в основном для работы с OLTP системами. Но из-за отсутствия требований ACID (в частности, транзакций как таковых), а также серьезных проблем с производительностью при работе с OLAP/DW нагрузками, все больше пользователей MongoDB рассматривают возможность перехода на реляционные СУБД, выбирая зачастую именно PostgreSQL. Это открывает перед сообществом PostgreSQL большие возможности по “обращению” пользователей из NoSQL в SQL. В этом докладе мы расскажем о сложностях, с которыми сталкиваются пользователи MongoDB, и представим соверменные инструменты и open-source решения, с помощью которых можно осуществить миграцию на PostgreSQL в режиме реального времени или через процесс ETL. В частности, мы обсудим ToroDB Stampede – open-source решение, которое создает реплику MongoDB в режиме реального времени, конвертирует документы JSON в реляционные таблицы и сохраняет данные в PostgreSQL.
ВИДЕО
-
Ильдар Мусин Postgres Professional РазработчикДмитрий Иванов Postgres Professional Developer
Секционирование с pg_pathman
Секционирование в PostgreSQL - давно ожидаемый функционал. И хотя в Postgres возможно реализовать секционирование через наследование, такой подход имеет ряд недостатков, таких как необходимость вручную создавать секции и поддерживать триггеры, значительные накладные расходы на планирование и отсутствие оптимизаций времени выполнения. В докладе мы расскажем про расширение pg_pathman, над которым мы работаем. pg_pathman поддерживает HASH и RANGE секционирование и выполняет оптимизации на этапах планирования и исполнения, поддерживает быструю вставку за счет отказа от триггеров в пользу Custom Node, содержит функции для управления секциями (add, split, merge и др.), поддерживает FDW, неблокирующую миграцию данных и другие возможности. Мы также расскажем об интеграции pg_pathman в PostgresPro Enterprise Edition и поддержку Oracle-подобного синтаксиса для секционирования. В завершение мы расскажем о новых возможностях секционирования в PostgreSQL 10, что реализовано и пути дальнейшего развития.
ВИДЕО
-
Игорь Чижевский НИИ "Восход" Заместитель руководителя департамента разработкиСергей Королев МЦСТ инженер-программистДмитрий Погибенко ФГБУ "НИИ Восход"Станислав Мерзляков ФГБУ НИИ "Восход"Илья Космодемьянский Data EgretИван Богданов НИИ "Восход" Ведущий разработчик
Восход PostgreSQL на Эльбрус
Тотальное импортозамещение: не только Эльбрусы, но только хардкор. Практический опыт использования PostgreSQL на отечественном оборудовании в одной из важных государственных информационных систем.
В докладе будет рассказано о практике применение отечественного оборудования и свободного ПО, включая PostgreSQL, для миграции центра обработки данных государственной информационной системы, использовавшей оборудования и ПО IBM. Будет рассказано о применённом подходе и технологиях миграции БД “наживую” без останова работы Системы с IBM DB2 на PostgreSQL, о оптимизациях PostgreSQL для использования на процессорах Эльбрус, о практическом опыте эксплуатации cистемы.
-
Олег Алексеев МойСклад Технический директор
Полуавтоматические конверсии схемы данных в МойСклад
В процессе построения и эксплуатации сервиса МойСклад был разработан и поддерживается механизм для полуавтоматической корректировки схемы базы данных. В докладе - история появления и развития, варианты поддерживаемых конверсий.
ВИДЕО