Быстрый ETL для PostgreSQL
ETL – одна из первых задач, которую надо решить любому пользователю PostgreSQL. Существует ошибочное мнение, что low-code инструменты, реализующие ETL-процедуры, снижают требования к пользователю, но жертвуют производительностью и/или гибкостью. В выступлении будет продемонстрировано, что можно быстро и легко проектировать ETL-процедуры, не теряя в производительности. Рассказано, за счет чего обеспечивается высокая скорость, как используются особенности PostgreSQL и как связка PostgreSQL и low-code платформы позволяет закрыть одну из самых частых болей пользователей.
Видео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
22 мин
Андрей Зеленский Береста РК ведущий специалистМетоды силового бэкапа крупных СУБД Postgres Pro
Объемы хранимых данных в БД под управлением Postgres Pro стремительно растут. В некоторых организациях объемы БД уже превышают десятки TB. Использование существующих подходов к резервному копированию не позволяет обеспечить своевременное резервирование и восстановление данных. Мы дополнили хорошо известные и проверенные средства бэкапа Postgres Pro функционалом, который позволит обеспечивать бэкап и восстановление крупных БД, дополнительно мы позаботились об удобстве для администраторов.
-
22 мин
Иван Чувашов ООО Calltouch DBAПовреждение данных PostgreSQL на жестком диске. Что делать и как исправить?
Любая СУБД хранит свои данные на жестком диске, следовательно, может произойти ситуация, когда данные на диске повредились. Это может быть сбой контроллера, логическое или физическое повреждение данных, есть и масса других причин. Хорошо, когда в таких ситуациях повреждается файл индекса, команда пересоздания индекса позволяет восстановить консистентность в СУБД. Гораздо хуже дело обстоит, когда поврежден файл таблицы или системного раздела, восстановить поврежденные данные тогда невозможно. Приходиться прибегать к разным ухищрениям. Это может быть восстановление из бекапа, копирование данных из поврежденной таблицы или другие способы. В докладе рассмотрим несколько случаев повреждения данных на диске и опишем варианты восстановления данных из поврежденных таблиц.
-
22 мин
Анастасия Волкова DBeaver JAVA developerBabelfish: PostgreSQL с поддержкой SQL Server
Задачи миграции с классических коммерческих БД на open-source решения по-прежнему актуальны. Решения для миграции Oracle приложений на PostgreSQL уже хорошо себя зарекомендовали. Но что делать если у вас SQL Server? Хотим вам представить Babelfish - базирующийся на PostgreSQL 13 open source проект. Babelfish поддерживает сетевой протокол TDS, язык T-SQL и специфичные для SQL Server расширения SQL. Однако не всё так просто. Про особенности совместимости с SQL Server, проблемы и способы их решения мы расскажем в этом докладе. Бонус: история про то как мы добавляли поддержку Babelfish в DBeaver, используя JDBC драйвер от Microsoft.
-
45 мин
Дмитрий Вагин Avito Lead EngineerAvito: где живут ваши объявления
Мы ранее рассказывали про внутренне устройство Авито, где и как хранятся ваши объявления, как эти объявления попадают в поиск. За последние 3-4 года очень много изменилось в Авито, мы избавились от использования логической репликации, использования standby для читающей нагрузки, практически отказались от хранимых процедур, избавились от самописного failover решения, мигрировали все объявления в шардированную базу данных, практически "распилили" монолит и перешли на разработку в микросервисах. Расскажу о причинах такого развития, проблемах с которыми столкнулись, и текущем положении дел.