Миграция данных из Oracle в PostgreSQL с использованием инструмента Pentaho
При миграции данных из одной СУБД в другую встает вопрос: выбрать сторонний инструмент или написать миграцию самому? Компании, пытаясь вырасти компетенции внутри себя, выбирают второй вариант. И наталкиваются на изобретение собственных "велосипедов". Однако на рынке есть мощные бесплатные инструменты миграции данных. Одним из таких инструментов является Pentaho Data Integration, входящий в пакет Pentaho Community Edition. В докладе будет рассмотрено применение данного пакета для миграции данных между СУБД Oracle и PostgreSQL. Особое внимание будет уделено проблемам, возникающим при использовании данного инструмента, и задачам тестирования на полноту и целостность мигрируемых данных.
Небольшая видео-иллюстрация:
Слайды
Pentaho.pptВидео
Другие доклады
-
45 мин
Павел Лузанов Postgres Professional Руководитель образовательных программСертификация PostgreSQL: вопросы и ответы
В мае 2019г. компания «Постгрес Профессиональный» запустила программу сертификации PostgreSQL. Теперь можно не только пройти обучение на наших курсах, но и подтвердить знания, сдав соответствующий набор тестов.
В этом выступлении я поделюсь итогами первых месяцев работы программы и отвечу на чаще всего возникающие вопросы:
- Где узнать о программе сертификации?
- Сертификация по PostgreSQL или Postgres Pro?
- Сертификаты по версии 10, уже вышла 12. Когда будете обновлять?
- Обязательно ли проходить обучение в учебных центрах?
- Можно ли сдать тест удаленно? Не в Москве?
- Можно ли в один день сдавать сразу несколько тестов? (например иногородним)
- Как готовиться? Есть ли примеры вопросов для тренировки?
- Во время теста попался некорректный вопрос, что делать?
- Как узнать на какие именно вопросы ответы были не правильные?
- Когда можно пересдать после не успешной попытки?
- Как обжаловать результаты теста?
-
45 мин
Premnath Jangam CSG Systems International DBA
Abhinav Sagar CSG International Sr database consultantLife cycle of Database Migration from Oracle, DB2 to PostgreSQL
Many businesses which use Database management systems like Oracle, DB2 & MS SQL are unreliable these days. Moreover, the costs incurred in maintaining these systems and its product licenses keeps on increasing. As the competitors are migrating over to the new technologies and tools available in the market, it is necessary for these businesses to migrate to new environment which is efficient, consistent and reliable to stay in the market and the technologies used in the current environment have become obsolete or no longer serve the business purpose. PostgreSQL has emerged as a top open-source RDBMS software. Since there is no licensing cost associated with it most of the companies are planning to migrate the databases which are currently running on other RDBMS like Oracle, DB2, MS SQL server to PostgreSQL. This report summarizes the various methodologies, procedures and techniques involved in successfully migrating the data from Oracle to PostgreSQL & DB2 to PostgreSQL. Migration is not a simple effort there should be proper planning and testing involved in this right from database connectivity to performance analysis. In this paper we are going to cover most of the steps which we need to consider before the migration and after the migration like choosing the correct tools for implementing the migration, time taken to migrate ,data compatibility, code conversion, application connectivity to database, database configuration parameters, performance analysis, replication setups, database monitoring, patching and backup strategies.
-
45 мин
Дарья Вилкова Postgres Professional младший инженер баз данных
Вадим Ипатов Zabbix SIA РазработчикПлагин для мониторинга PostgreSQL для нового zabbix-agent
В zabbix-server 4.4 стал доступен новый zabbix-agent. Он написан на Golang, имеет плагинную структуру, держит постоянное подключение и дает возможность контролировать метрики в runtime. В докладе будет рассказано о новом агента в целом, о том, как разрабатывать плагины под него, и в частности, о плагине для мониторинга PostgreSQL, разработанного компанией Postgres Professional совместно с Zabbix.
-
22 мин
Дмитрий Урсегов Postgres Professional Руководитель группы разработкиСредства Greenplum для работы с внешними данными, примеры разработки коннекторов для Kafka и ClickHouse
Greenplum - это горизонтально-масштабируемая СУБД, основанная на ядре PostgreSQL. Она используется для OLAP нагрузок и стандартной задачей является быстрая загрузка или выгрузка большого объема данных. Часто внешними ресурсами данных являются такие же распределенные системы. В этом докладе будет рассказано, какие средства есть в Greenplum для работы с внешними ресурсами, про их архитектуру и производительность: external tables, foreign tables, streaming servers. Что планируется в следующей версии. Будут приведены примеры разработки коннекторов для Kafka и ClickHouse.