title

text

Надежда Кузьмичева
Надежда Кузьмичева ООО Квиллис Team lead
Рустам Хандадашев
Рустам Хандадашев ООО Квиллис Разработчик Баз Данных
Борис Гладких
Борис Гладких ООО Квиллис Архитектор Баз Данных
15:55 09 апреля
40 мин

Как мы строили Хранилище на GreenPlum, или тонкости ELT в условиях Postgres 9.4

В этом докладе расскажем о некоторых нюансах построения Хранилища на GP, об автоматизации рутинного труда в процессе ELT, о том какие шишки набили при трансформации данных.

Слайды

Слайды доступны участникам мероприятия, выполнившим вход в личный кабинет.

Видео

Видео доступно участникам мероприятия, выполнившим вход в личный кабинет

Другие доклады

  • Алексей Борщев
    Алексей Борщев Postgres Professional Инженер
    20 мин

    Про-Shardman

    Инженеры Постгрес Профессиональный А. Борщев и П. Конотопов расскажут о Шардмане с точки зрения SQL разработчиков и архитекторов БД: - Что такое Шардман - Чем отличается от обычного Постгреса - Типы таблиц и их использование - Как адаптировать схему БД для работы на шардах

  • Василий Бернштейн
    Василий Бернштейн Postgres Professional Старший технический менеджер продукта
    20 мин

    Подход по ограничению прав доступа суперпользователя к чувствительным данным в реализации компании Postgres Pro

    Требования к безопасности данных постоянно растут, и многие пользователи сегодня ищут способ ограничить доступ администраторов СУБД к конфиденциальным данным. Стандартным подходом в форках PostgreSQL является наложение дополнительных ограничений на postgres/superuser. Мы в Postgres Pro использовали принципиально другой подход.

  • Андрей Черняков
    Андрей Черняков UIS, CoMagic Разработчик баз данных, техлид
    40 мин

    pg_migration - система работы с кодом, как не дать программистам все сломать

    Мы долгое время катили релизы на базы данных руками. Но когда их количество стало больше 50, выкладывать релизы руками стало больно, даже при наличии скриптов. Стало понятно, что нужен какой-то инструмент. Так как готовые инструменты нам не подошли, мы решили написать свою систему на основе пайплайнов ci/cd в gitlab.

    В результате получилась удобная система работы с кодом: - автоматические проверки практически не дают сделать что-то не правильно (plpgsql_check, авто-тесты и т.д.) - исключается возможность расхождения кода в живой БД и в репозитории - включает в себя несколько утилит (написанных на python), которые можно использовать как в пайплайнах, так и непосредственно из консоли - поддерживаются два режима раскатки релизов: по кнопке из gitlab и полностью автоматический (по ключевому слову auto_deploy в сообщении к коммиту)

  • Артем Свяжин
    Артем Свяжин LLC SIMA-LAND Руководитель отдела системного инжиниринга
    20 мин

    Слоник который смог в ZFS

    Ни для кого не секрет, что объемы баз данных растут с невероятной скоростью. Мы хотим поделится опытом развертывания тестовых и dev-контуров СУБД больших размеров за несколько секунд. В докладе будут проблемы, с которыми мы столкнулись, наш тернистый путь к ZFS и разъяснение рабочей схемы, как же все-таки оно работает у нас, и как мы с этим живем. Будет интересно.