title

text

Андрей Чибук
Андрей Чибук ООО "ФОРС Телеком" Ведущий эксперт
Александр Любушкин
Александр Любушкин ООО "ФОРС Телеком" Технический директор
10:50 04 апреля
45 мин

Как перенести 10Тб из Oracle в Postgres за 24 часа?

Предлагается вашему вниманию наш опыт по миграции данных и написанную на Java программу Ora2PgCopy для высокоскоростного переноса данных из Oracle в Postgres, которая применяется после создания таблиц и переноса программного кода прикладных систем. Высокая скорость переноса данных обеспечивается за счёт использования Postgres-команды “copy”, применения многопоточной технологии Java для обработки файлов, управления опцией таблиц nologged/ logged, поддержки типов данных LOB и CLOB. По результатам тестов Ora2PgCopy работает заметно быстрее таких аналогов как: Ispirer (convertum), oracle_fdw, ora2pg, Pentaho kettle. Ora2PgCopy может функционировать как модуль в составе системы автоматизации миграции (САМ) LUI4ORA2PG, так и независимо от неё. С историей развития инструмента разработки web-приложений Live Universal Interface (LUI) и инструмента миграции LUI4ORA2PG, можно ознакомится по предыдущим выступлениям на конференциях PgConf: https://pgconf.ru/2019/118109, https://pgconf.ru/201911/264095, https://pgconf.ru/2020/262456, https://pgconf.ru/2021/288310,
https://pgconf.ru/2022/316022.

Слайды

Любушкин-Чибук.ppsx

Видео

Видео доступно участникам мероприятия, выполнившим вход в личный кабинет

Другие доклады

  • Андрей Зубков
    Андрей Зубков Postgres Professional Руководитель группы систем мониторинга
    45 мин

    Новые возможности наблюдения за СУБД Postgres и PostgresPro

    В этом докладе я расскажу сразу о нескольких новых возможностях наблюдения за нагрузкой в СУБД. Среди них будут: визуализация истории наблюдений расширений pg_profile/pgpro_pwr с использованием Grafana; активные отчеты pg_profile/pgpro_pwr, позволяющие выполнять подсветку исследуемых объектов в разных секциях отчета; дальнейшее развитие расширенных статистик вакуума в версиях PostgresPro; новый интересный механизм трассировки сессий и запросов в расширении pgpro_stats.

  • Игорь Сухоруков
    Игорь Сухоруков Align Technology Big Data team lead
    22 мин

    Как поместить весь мир в обычный ноутбук: PostgreSQL и OpenStreetMap

    Я покажу в PostGIS, как каждый может проанализировать геоданные всей Земли и получить ответы на свои глобальные вопросы за минуты и секунды.

    Когда вы пользуетесь такси в небольших городах, вызывая машину по телефону, то с высокой вероятностью вашу поездку тарифицирует программа на основе данных OSM. Для тарификации используется какой-либо из пакетов прокладки маршрута. Благодаря этому сценарию использования, сотрудники таксопарка указывают номер дома и улицу на зданиях и делают вклад не только в свой бизнес, но и в OpenStreetMap.

    В сценарии аналитики данных входят и задачи где лучше разместить торговую точку, чтобы в нее приходили покупатели. Опять же данные о шаговой доступности и населенности окресностей можно извлечь из геоданных. Можно расчитывать стоимость недвижимости на основе множества факторов связанных с расположением объекта и его окружения.

    Ученые могут строить прогнозные модели для предсказания эпидемий, эволюции городов, планировать рекреационные зоны и застройку существующих территорий на основе открытых геоданных.

    Ну и можно ответить на любой вопрос по географии который вам придет в голову: посчитать площади городов и построек, протяженности дорог и извлечь названия городов, областей и островов. Можете, например, стать чемпионом по игре в "Города" или основать новый сервис прокатов электро самокатов. Все ограничивается лишь вашей фантазией.

    Я опубликовал https://github.com/igor-suhorukov/openstreetmap_h3 — мой проект высокопроизводительного загрузчика данных, который позволяет выполнять геоаналитику данных из OpenStreetMap в PostGIS. Он преобразует дамп OpenStreetMap всего мира или региона PBF в схему, разделенную по регионам H3. Опция столбцового хранения активирует расширение CitusDB в PostgreSQL для ускорения аналитических запросов.

  • М
    Михаил Маслов Банк ВТБ (ПАО) Администратор БД
    22 мин

    Мультитранзакции и возможные проблемы с ними

    В докладе рассмотрены мультитранзакции, в каких случаях они "появляются", как их мониторить и проверять. Возможные проблемы с переполнением счетчика мультитранзакций и описана проблема отсутствия файла в pg_multixact/offsets при восстановлении из резервной копии.

  • Андрей Рудометов
    Андрей Рудометов Postgres Professional Младший разработчик
    22 мин

    Привет, встроенный мультимастер? Сравнение двунаправленной репликации в ваниле и Postgres Pro Multimaster

    Во встроенной логической репликации PostgreSQL с версии 9.5 есть механизм replication origin, позволяющий отслеживать процесс логической репликации с конкретного узла. В 16 версию будет включен патч, позволяющий настраивать циклическую репликацию без повторения изменений, пользуясь этим механизмом. В первых обзорах за внешнее сходство получающегося кластера с мультимастером Postgres Pro фичу окрестили "встроенным мультимастером" - разберемся, насколько они похожи на самом деле, и посмотрим, что там внутри. Ожидается, что слушатели имеют некоторое представление о внутреннем устройстве WAL и его месте в работе PostgreSQL.