Как ускорить загрузку данных в 10 000 раз?
Что может быть важнее скорости в вопросе загрузки данных в базу? Миграция данных одна из самых востребованных функций в DBeaver, поэтому вопрос производительности стоял для нас очень остро, причем не только в применении для PostgreSQL, но и для Greenplum, Redshift и других баз, основанных на Postgres. Мы готовы поделиться маленькими секретами, как ускорить загрузку данных в 10, 100, 1000 и даже 10 000 раз без всякой магии.
Слайды
Видео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
45 мин
Антон Дорошкевич ИнфоСофт Руководитель ИТНеравный бой с "распуханием" в реалиях баз 1С
Данных всё больше, диски всё быстрее, оптимизатор СУБД всё умнее, но проблема "распухания" остаётся крайне актуальной. Хочу поделиться своим опытом и подходом к борьбе с этим эффектом на большом количестве таблиц и данных в них.
-
45 мин
Игорь Косенков Postgres Professional ИнженерЧто нам стоит КУК построить
Все прекрасно знают, что такое отказоустойчивый кластер PostgreSQL и как такой кластер защищает от сбоев внутри одного дата-центра. Однако, в последнее время все больше предприятий предъявляют повышенные требования к своим сервисам, эти требования включают и катастрофоустойчивость. Такие кластеры мы называем катастрофоустойчивый кластер - КУК. В докладе я расскажу о разновидностях, принципах и подходах к построению КУКов PostgreSQL на основе кластерного ПО Corosync/Pacemaker.
-
45 мин
Андрей Зубков Postgres Professional Руководитель группы систем мониторингаРазвитие модуля анализа исторической нагрузки pg_profile/pgpro_pwr
Расширение pg_profile предназначено для анализа исторической нагрузки в базах данных Postgres. Его главной особенностью является экстремальная простота установки и использования - оно не требует для работы ничего кроме самой СУБД и любого планировщика заданий. Расскажу о новых возможностях расширения pg_profile и о новых статистиках, доступных в Postgres 14. У pg_profile есть расширенная версия, доступная в базах данных PostgresPro, главным образом, она отличается поддержкой расширения pgpro_stats. Расскажу какие дополнительные возможности это дает. Кроме того, обсудим некоторые существующие проблемы и перспективы дальнейшего развития Postgres в части мониторинга потребления ресурсов.
-
22 мин
Федор Сигаев Postgres Professional технический директор, ведущий разработчик PostgreSQLЗачем еще 64-битные значения?
Когда PostgreSQL только появлялся, значения идентификатора транзакции были выбраны 32х-битными. В то время это казалось запредельным числом - кто в здравом уме будет проводить 4 миллиарда транзакций? Но развитие техники привело к тому, что появились инстансы, где транзакции подбирались к этому пределу. Сообщество разработчиков ответило на это возможностью "оборота" счетчика транзакций (известный как wraparound). Но технический прогресс и рост количества данных поставили PostgreSQL перед новыми вызовами. В докладе я попытаюсь рассказать об этих вызовах, о том, как их можно преодолеть с помощью повышения разрядности счетчика, к каким следствиям это приведет и почему это надо делать сейчас, и почему это не было сделано раньше.