title

text

Александр Любушкин
Александр Любушкин ФОРС Телеком Технический директор
Андрей Чибук
Андрей Чибук ФОРС Телеком Ведущий эксперт
: декабря
40 мин

Управление сценариями миграции большого объёма данных из Oracle в PostgreSQL

Инструмент Ora2PgCopy представленный на PgConf.Russia-2023 (https://pgconf.ru/talk/1589503) получил новое развитие и дополнен новым средством для инкрементальной миграции данных Ora2PgSync. В докладе рассматриваются следующие стадии процесса переноса данных большой БД: - многопоточная миграция данных (в том числе со сжатием при передаче по медленной сети) - создание индексов и ограничений целостности - инкрементальная миграция изменений данных после переноса основного объёма. Особое внимание уделяется обработке нештатных ситуаций с целью предотвращения полного повторения сценария миграции данных. Представлено несколько способов обеспечения равномерного и полного использования вычислительных ресурсов в течение всего времени отведённого на перенос БД. Обсуждаются проблемы инкрементальной синхронизации БД Oracle и PostgreSQL: - Почему надо анализировать все транзакции в Oracle, а не только зафиксированные - Что происходит, когда в Oracle один оператор delete удаляет 1млн. строк.

Слайды

Слайды доступны участникам мероприятия, выполнившим вход в личный кабинет.

Видео

Видео доступно участникам мероприятия, выполнившим вход в личный кабинет

Другие доклады

  • Леонид Борчук
    Леонид Борчук Яндекс Разработчик
    40 мин

    Greenplum: командный центр вместо pg_stat_statements

    В greenplum используется отличный от PostgreSQL подход для сбора статистики выполнения запросов: вместо pg_stat_statements - командный центр. Командный центр - отдельное приложение. А значит нет необходимости хранить статистику в разделяемой памяти. Но нужно отправлять ее отдельному процессу. Расскажу: - как мы его реализовали; - почему использование grpc в postgreSQL - плохая идея и с какими еще проблемами мы столкнулись; - какие хуки было бы неплохо добавить в postgreSQL; - как не тормозить на отправке данных; - какие новые возможности появляются у отдельного приложения.

  • Денис Леонтьев
    Денис Леонтьев ФОРС-Центр разработки ведущий инженер
    Андрей Пауков
    Андрей Пауков ООО «ФОРС – Центр разработки» Ведущий инженер
    П
    Павел Баев ФОРС-Центр разработки Инженер
    40 мин

    Диагностика производительности базы данных PostgreSQL / Diagnostics of PostgreSQL database performance

    ЦТП ФОРС имеет более чем 30 летний опыт поддержки промышленных СУБД на основе Oracle, последние 9 лет мы оказываем услуги по PostgreSQL. Накопленную за много лет методику применяем в нашей работе. В докладе делаем обзор с примерами использования штатного инструментария диагностики производительности СУБД и ОС. Представляем собственный инструмент PGARM, и как он помогает нам вести диагностику замедлений, в том числе в реальном времени.


    FORS Center of Technical Support with over 30 years of experience in supporting Oracle-based RDBMS has been providing support services for PostgreSQL-based DBMS for the last 9 years. We leveraged our extensive experience gained over many years while developing our PGARM tool. In the presentation we provide a comparison between standard tools for diagnosing DBMS and OS performance and our PGARM. Today we would like to present our own tool: PGARM and to demonstrate how it can help you diagnose slowdowns, including real time diagnostics.

  • Леонид Борчук
    Леонид Борчук Яндекс Разработчик
    20 мин

    Планы выполнения в pg_stat_statements

    Есть много opensource (и еще больше проприетарных) форков pg_stat_statements, которые позволяют смотреть планы выполнения запросов:

    pg_stat_plans https://github.com/2ndQuadrant/pg_stat_plans
    pg_store_plans https://github.com/ossc-db/pg_store_plans
    pg_stat_monitor https://github.com/percona/pg_stat_monitor

    Все они мне чем-то не подошли и я написал свое https://github.com/postgredients/pg_stat_query_plans. Расскажу что и как сделал, и что хотелось бы добавить в оригинальный pg_stat_statements, чтобы мое расширение было не нужно

  • Александр Попов
    Александр Попов Postgres Professional Инженер
    20 мин

    pgpro_redefinition - расширение для онлайн манипуляций с большими таблицами

    Рассказ про расширение для перестройки больших таблиц без блокировок (почти)

    pgpro_redefinition - новое расширение, которое позволяет перестраивать таблицы без остановки приложения. Например секционировать большую таблицу, добавить колонку с default значением, разбить таблицу на 2 таблицы и даже создать копию таблицы на другом сервере СУБД.