Миграция данных из Oracle в PostgreSQL с использованием инструмента Pentaho
При миграции данных из одной СУБД в другую встает вопрос: выбрать сторонний инструмент или написать миграцию самому? Компании, пытаясь вырасти компетенции внутри себя, выбирают второй вариант. И наталкиваются на изобретение собственных "велосипедов". Однако на рынке есть мощные бесплатные инструменты миграции данных. Одним из таких инструментов является Pentaho Data Integration, входящий в пакет Pentaho Community Edition. В докладе будет рассмотрено применение данного пакета для миграции данных между СУБД Oracle и PostgreSQL. Особое внимание будет уделено проблемам, возникающим при использовании данного инструмента, и задачам тестирования на полноту и целостность мигрируемых данных.
Небольшая видео-иллюстрация:
Слайды
Pentaho.pptВидео
Другие доклады
-
45 мин
Андрей Бородин Яндекс.Облако Руководитель подразделения разработки РСУБД с открытым исходным кодомOdyssey: архитектура, настройка, мониторинг
Совсем недавно мы выпустили версию 1.0 нашего пулера соединений Odyssey. Он призван решить проблемы управления соединениям высоконагруженных инсталляций PostgreSQL. В этом докладе я хотел бы рассказать об архитектуре и эксплуатации Одиссея. Также будут затронуты проблемы, которые были решены в достаточно длинном переходе между 1.0rc и 1.0.
-
22 мин
Семен Трошкин Мазар АО Team leadPostgreSQL cluster высокой доступности под управлением Patroni для 1С. Единая точка входа организована Consul DNS на Windows.
200 баз, несколько кластеров, несколько терабайт данных Поделимся своим опытом настройки и использования patroni cluster Кластер СУБД под Linux, сервер 1С под windows. Используем: Сборка PostgreSQL для 1С, Patroni, Consul, Consul dns, Commvault, Ansible Vagrant файл и Ansible playbook c ролями прилагается.
-
90 мин
Рустам Абдрахимов ООО Форс-Телеком Главный эксперт
Александр Любушкин ООО "ФОРС Телеком" Технический директорРазработка WEB-приложений для Postgres с помощью нового инструмента Live Universal Interface (LUI)
В ходе мастер-класса будет продемонстрировано следующее:
- Преимущества декларативного программирования. Быстрое создание сложной формы LUI с применением только SQL.
- Поддержка длинных транзакций и автоматических блокировок. Пример визарда с записью прямо в базу.
- Управление раскраской данных в полях и столбцах формы. Типичные примеры.
- Живой поиск в полях ввода на примере ввода адресов.
- Как настроить LUI на ввод и отображение специфических данных прикладной системы.
- Разработка формы Мастер-Деталь с извлечением данных из двух разных БД.
- Как конечный пользователь строит сложные запросы к данным без использования SQL.
- Как в любом списке группировать данные и строить интерактивные диаграммы (включая 3D) c возможностью “drill down”.
Слушатели по желанию смогут своими руками изготовить WEB-интерфейс для Postgres на LUI (см. презентацию на https://pgconf.ru/2019/118109)
-
45 мин
Константин Евтеев X5 FoodTech Главный архитектор10 лет PostgreSQL в Avito
PostgreSQL с момента старта Avito решает серьезные и важные задачи. Вокруг СУБД были построены основные компоненты архитектуры. За 10 лет проект активно развивался, изменилась архитектура и инфраструктура.
Как вступление, сделаю обзор: эволюции архитектуры и инфраструктуры PostgreSQL в Avito; успешно решенных вызовов.
В основной части расскажу о статусе PostgreSQL в Авито 2020: микросервисная архитектура; шардирование; проблемы коммуналок; DBaaS( Database discovery, управление доступом, failover, backup, archive, вопросы разделения ресурсов итд.); вопросы интеграции; эволюция команды.
В заключение поделюсь нашим wishlist/нерешенными вопросами.