title

text

Максим Вихарев
Максим Вихарев Alytics Технический директор
17:00 06 февраля
45 мин

GreenHouseSQL - масштабируемая система аналитики на postgresql, greenplum и clickhouse

На pgconf’17 я рассказывал про нашу велосипедную систему аналитики на основе PostgreSQL. После этого мы посматривали в сторону хадупов, s3, престо, друидов, вертики, пентахо и прочих страшил. А потом перестали cтрадать и сомневаться и просто добавили к постгресу готовые Greenplum и Clickhouse. Получив в итоге потрясающую скорость, простую миграцию, простое обслуживание, надежность и горизонтальное масштабирование, восстановление после сбоев в две команды, уменьшение костов на инфрастуктуру и широкие функциональные возможности за счет сочетания ANSI SQL, MPP и In-memory. Оставаясь в парадигме Open-source и полноценного SQL. В итоге у нас получилось то, что мы назвали GreenHouseSQL - наша внутренняя платформа данных полного цикла. В докладе вскроем простоту внутренностей решения и рассмотрим компоненты стека под микроскопом, расскажем об их достоинствах и недостатках, фишках начала работы с Greenplum, зачем нам Clickhouse, что осталось PostgreSQL'у и как вообще все это работает.

Слайды

Видео

Другие доклады

  • Вадим Подольный
    Вадим Подольный АО "РАСУ" Независимый эксперт
    45 мин

    Высоконагруженная распределенная система управления современной АЭС

    В докладе будет представлена новая платформа распределенной системы управления АЭС.

    Вы узнаете, как обеспечивается управление сложнейшими объектами автоматизации в мире. В режиме жесткого реального времени обеспечивается работа более 150 специальных подсистем, управляющих различными технологическими процессами АЭС, таких как система управления реактором мощностью выше 1000 МВт и турбиной весом более 2000 тонн. Более 100К источников данных от датчиков и до 500К расчетных параметров. 5 разновидностей физических процессов: нейтронная кинетика, гидродинамика, химия и радиохимия и физика прочности.

    При некоторых отклонениях вся система превращается в огромный источник DDoS полезной диагностической информации, которой всегда больше, чем способна переварить сеть и вычислительные ресурсы автоматизированной системы, что мешает нормальному управлению объектом. Вы узнаете, как мы «разруливаем» такие проблемы.

    Из доклада вы узнаете об аппаратной и программной архитектуре таких систем, узнаете, как обеспечивается резервирование и репликация данных в таких системах, зачем нужна избыточность данных и технологическое разнообразие. Как обеспечивается управление нагрузками, как устроен QoS. И что будет, если отключится система нормальной эксплуатации, как, например было на Фукусиме.

    Но мы все же про кодинг. Никаких SSD и HDD, только InMemory, структуры данных из десятков миллионов элементов, забудьте про кэш процессора, он не работает. Ваш новый Xeon 4-го поколения потерял все преимущества и превратился в "тыкву", поэтому закатываем рукава и ковыряемся в таймингах, жесточайшей аcинхронике и выжимаем из железа максимум. Кто слабое звено - процессор, память, ОС или сеть. Выясняем это.

  • Álvaro Hernández
    Álvaro Hernández OnGres Founder
    180 мин

    Миграция с Oracle на PostgreSQL

    Хватит платить за яхту Ларри!

    PostgreSQL - это полнофункциональная система управления базами данных с открытым кодом уровня предприятия, которая дважды кряду получает статус "СУБД года". И это также наилучший кандидат для миграции с Oracle. PostgreSQL поддерживает продвинутый SQL, она проста в администрировании, а pl/pgsql является заменой ораклового PL/SQL. Пора прекратить тратить сотни тысяч или миллионы долларов на лицензии для СУБД - лучше направьте эти деньги на инвестиции в свою команду, улучшение инфраструктуры или ПО.

    Присоединяйтесь к мастер-классу, чтобы за полдня изучить лучшие практики, инструменты и некоторые секреты успешного мигрирования с Oracle на PostgreSQL. Учитесь у команды, которая провела миграцию на PostgreSQL Blackberry на GCP с 150М пользователей с практически нулевым временем простоя, и у ключевого создателя orafce - набора Oracle-совместимых функций поверх PostgreSQL.

  • Василий Пучков
    Василий Пучков ООО Главный эксперт
    45 мин

    Интеграция серверов PostgreSQL в корпоративную сеть

    Корпоративные стандарты защиты информации, обеспечения надёжности и унификации ПО: Аутентификация Kerberos (на Windows и Linux) в среде Active Directory. Особенности 1С Предприятие. Подключение к системе резервного копирования (HP Data Protector). Подключение к системе мониторинга Solarwinds.

  • Петр Грибанов
    Петр Грибанов Технологический евангелист
    22 мин

    1С:Предприятие и PostgreSQL

    • 1С:Предприятие -как среда кросс-платформенной разработки бизнес-приложений
    • 1С и PostgreSQL - вместе с 2006 года
    • Работа 1С с PostgreSQL в облачном сервисе 1cFresh
    • Что улучшено в платформе 1С:Предприятие для работы с PostgreSQL - Общие рекомендации по работе 1С с PostgreSQL.