Как ускорить загрузку данных в 10 000 раз?
Что может быть важнее скорости в вопросе загрузки данных в базу? Миграция данных одна из самых востребованных функций в DBeaver, поэтому вопрос производительности стоял для нас очень остро, причем не только в применении для PostgreSQL, но и для Greenplum, Redshift и других баз, основанных на Postgres. Мы готовы поделиться маленькими секретами, как ускорить загрузку данных в 10, 100, 1000 и даже 10 000 раз без всякой магии.
Слайды
Видео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
45 мин
Анатолий Анфиногенов АО "ВНИИЖТ" Зам. директора научного центра - начальник отдела разработки ПОМиграция приложения Oracle PL/SQL на Postgres pl/pgSQL: взгляд два года спустя
В 2019 распределенное серверное приложение, работающего 24/7 на полигоне 16 железных дорог от Калининграда до Хабаровска плюс несколько БД центрального уровня, было перенесено с Oracle 11g SE на ванильный PostgreSQL 11.9. Прошло почти 2 года, система успешно работает. Доклад посвящен тому, как мы переходили, с какими проблемами столкнулись при переходе и при эксплуатации, а также тому, что сегодня бы мы сделали иначе.
-
45 мин
Олег Бартунов Postgres Professional генеральный директорJson or not Json. Плюсы и минусы использования Json в PostgreSQL
Json сейчас является де-факто стандартом для разработчиков стартапов. Почему это происходит и что надо делать — учить разработчиков приложений, как правильно проектировать базу данных согласно канонам реляционной теории (которой Postgres очень хорошо соответствует) или сделать СУБД более дружественной для Json?
-
22 мин
Никита Дрей OT-OIL Руководитель группыОсобенности миграции ECM платформы на PostgreSQL
Доклад раскроет процесс и особенности проекта миграции корпоративной ECM платформы "ЭЛЬДОКА" с ORACLE на PostgreSQL: как был обеспечен объектно-ролевой доступ к данным, какого функционала было недостаточно в "свободной версии", как была организована работа с пространственными данными и как меняли подход в хранении файлового контента. Поделимся опытом, как сэкономили время/ресурсы, обеспечили репликацию данных между узлами и какие результаты в итоге были получены по производительности.
-
22 мин
Владимир Слинько Intel менеджер по развитию проектовОбзор новых аппаратных возможностей платформы Intel
Кратко о релевантных технологиях Intel: развитие CPU и в т.ч. возможностей для алгоритмов ИИ, Пирамида памяти скорость/объём > место PMEM, развитие шифрования, Программные инструменты для повышения производительности параллельных вычислений. Пара кейсов внедрения крупных проектов на PG + Intel