Управление сценариями миграции большого объёма данных из Oracle в PostgreSQL
Инструмент Ora2PgCopy представленный на PgConf.Russia-2023 (https://pgconf.ru/talk/1589503) получил новое развитие и дополнен новым средством для инкрементальной миграции данных Ora2PgSync. В докладе рассматриваются следующие стадии процесса переноса данных большой БД: - многопоточная миграция данных (в том числе со сжатием при передаче по медленной сети) - создание индексов и ограничений целостности - инкрементальная миграция изменений данных после переноса основного объёма. Особое внимание уделяется обработке нештатных ситуаций с целью предотвращения полного повторения сценария миграции данных. Представлено несколько способов обеспечения равномерного и полного использования вычислительных ресурсов в течение всего времени отведённого на перенос БД. Обсуждаются проблемы инкрементальной синхронизации БД Oracle и PostgreSQL: - Почему надо анализировать все транзакции в Oracle, а не только зафиксированные - Что происходит, когда в Oracle один оператор delete удаляет 1млн. строк.
Слайды
Слайды доступны участникам мероприятия, выполнившим вход в личный кабинет.
Видео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
20 мин
Константин Ващенков xsquare.ru Тех дирМиграция с Oracle APEX/Forms на Эльбрус e2k. Проблемы. Производительность
Расскажем об опыте миграции с Oracle Forms / Apex на платформу x86 Расскажем об опыте последующий миграции решений на Эльбрус e2k Расскажем об производительности / масштабируемости (БД/количестве пользователей)
На примере НПФ Корпорации "Ростех" / НПФ ПАО "Ростелеком"
-
20 мин
Алексей Мигуцкий Конвертум Руководитель отдела миграции БДАвтоматическая миграция БД на PostgreSQL: планирование, решения, трудности
- Автоматическая миграция БД в PostgreSQL
- Оценка миграционного проекта и построение плана работ
- Миграция схемы, данных и бизнес логики. Основные сложности, решения и возможности автоматизации.
- Изменение приложения при миграции БД - сложности и возможности автоматизации
-
40 мин
Алена Рыбакина Postgres Professional РазработчикААндрей ЛепиховПерепланирование безнадежных запросов в реальном времени
В настоящее время приложения с автоматически генерируемыми запросами получают все большее распространение, однако это приводит к тому, что оптимизаторы современных СУБД из-за некоторых ограничений не могут найти оптимальный план их выполнения. Поэтому это вынуждает выполнять их в течение длительного времени. В основном эта ошибка возникает из-за неправильной оценки мощности, что еще хуже, ошибка может повторяться оптимизатором снова и снова. В нашем повествовании мы расскажем о весьма нетрадиционной попытке решения этой проблемы методом перепланирования запросов, который путем анализа дерева выполнения запроса с сохранением фактической мощности, использует знания для генерации более корректного плана запроса.
-
40 мин
Дмитрий Ремизов ГНИВЦ архитекторИспользование gdb python API для исследования внутреннего мира Postgres и Oracle
В своём докладе я собираюсь рассказать о сравнительно малоизвестном и малоиспользуемом функционале встроенном в популярный отладчик GDB. Я собираюсь дать небольшой обзор по данному API и на примере PostgreSQL и Oracle показать как можно использовать данное API чтобы более наглядно показать/исследовать то что происходит внутри базы данных. В качестве примера я предполагаю рассмотреть некоторые аспекты парсинга SQL внутри данных баз данных.