title

text

Павел Конотопов
Павел Конотопов Postgres Professional Руководитель отдела по отказоустойчивости PostgreSQL
17:00 03 апреля
45 мин

Пять оттенков шардинга

Колоссальное значение сейчас приобретает шардинг. Размеры современных БД перешагивают 100 терабайтные пределы, вертикальное масштабирование, добавление реплик, содержащих полную физическую копию БД, становится затруднительным, особенно при дефиците вычислительных ресурсов. Шардирование базы данных – это способ горизонтально масштабироваться, разделив данные между независимыми друг от друга вычислительными узлами.

В мире PostgreSQL существуют как давно известные инструменты масштабирования: CitusDB, Greenplum, так и решения нового поколения – Cockroach DB, Yugabyte DB, SPQR, Shardman.

В нашем докладе мы будем рассуждать о разнице между этими реализациями, достоинствах и недостатках этих решений, рассмотрим текущее состоянии реализации шардинга в ванильном PostgreSQL, а также затронем и не менее важны темы – предоставления гарантий целостности и согласованности данных в масштабах распределенного кластера.

слайды

Видео

Другие доклады

  • Андрей Бородин
    Андрей Бородин Яндекс.Облако Руководитель подразделения разработки РСУБД с открытым исходным кодом
    45 мин

    Обзор некоторых интересных исторических уязвимостей Postgres

    Я совсем не security-специалист. Но от этого будет только понятнее! Я разобрался в наиболее интересных уязвимостях старых версий Postgres и расскажу как они работали.

  • Максим Емелин
    Максим Емелин Postgres Professional Ведущий инженер
    45 мин

    Применение Debezium в качестве инструмента дельта-миграции данных

    Рассматривается кейс дельта миграции данных, особенности захвата изменений с использованием Debezium и их последующего применения в целевую БД. Приводятся различные варианты конфигураций, сравнительные тесты.

  • Леонид Чуриков
    Леонид Чуриков СёрчИнформ Ведущий аналитик
    22 мин

    Построение системы защиты данных на базе СУБД Постгрес

    Почему стоит использовать отечественную СУБД?

    • По закону: для защиты данных по закону годятся только отечественные СУБД
    • По оформлению: легально купить MS в России сейчас нельзя
    • По карману: лицензирование иностранных СУБД таково, что сильно удорожает защиту (в разы или на порядки)
    • По быстродействию: оно зависит от оптимизации СЗИ, а их разрабатывают сегодня под отечественные СУБД (Почему? Смотри пункт 1)
    • По жизни: В конце прошлого года мы перенесли все на отечественные СУБД и…. все работает! Все, что в жизни нужно безопаснику!

  • Александр Любушкин
    Александр Любушкин ООО "ФОРС Телеком" Технический директор
    Андрей Чибук
    Андрей Чибук ООО "ФОРС Телеком" Ведущий эксперт
    45 мин

    Как перенести 10Тб из Oracle в Postgres за 24 часа?

    Предлагается вашему вниманию наш опыт по миграции данных и написанную на Java программу Ora2PgCopy для высокоскоростного переноса данных из Oracle в Postgres, которая применяется после создания таблиц и переноса программного кода прикладных систем. Высокая скорость переноса данных обеспечивается за счёт использования Postgres-команды “copy”, применения многопоточной технологии Java для обработки файлов, управления опцией таблиц nologged/ logged, поддержки типов данных LOB и CLOB. По результатам тестов Ora2PgCopy работает заметно быстрее таких аналогов как: Ispirer (convertum), oracle_fdw, ora2pg, Pentaho kettle. Ora2PgCopy может функционировать как модуль в составе системы автоматизации миграции (САМ) LUI4ORA2PG, так и независимо от неё. С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf: https://pgconf.ru/2019/118109, https://pgconf.ru/201911/264095, https://pgconf.ru/2020/262456, https://pgconf.ru/2021/288310,
    https://pgconf.ru/2022/316022.