title

text

Алексей Мергасов
Алексей Мергасов НОКСА Дата Лаб Директор по разработке
17:30 17 марта
22 мин

Эффективная работа с 10+ ПБ данных в PostgreSQL или новая парадигма построения "бережливых" инфраструктур данных для Data-Driven Enterprise

Алексей расскажет о технических деталях и опыте применения подхода экстремальной нормализации данных для создания инфраструктур данных с уникальными потребительскими характеристиками. В сравнении с решениями лидеров рынка такие инфраструктуры обладают, например, такими преимуществами, как: - оперативная обработка 10 ПБ данных и больше, - в 2-6 раз более высокая производительность, - сквозная 100% консистентность данных, - практически линейная горизонтальная масштабируемость, - в 4-10 более низкая стоимость владения, - и т. д. Изложенный подход уже нашел применение за пределами России в решениях для операторов связи, ритейла, финтеха, современном производстве (Industry 4.0, индустриальный IoT), в государственном секторе.

ВИДЕО

Слайды

Другие доклады

  • Alvaro Hernandez
    Alvaro Hernandez 8Kdata CTO
    180 мин

    PostgreSQL и Java: мастер-класс

    Java – один из наиболее популярных языков программирования для СУБД PostgreSQL. На этом мастер-классе вы узнаете основные способы соединения с postgres и лучшие методики программирования по стандарту JDBC, а также познакомитесь с jOOQ – менеджером памяти, позволяющим использовать все возможности SQL и postgres для построения сложных запросов, не используя при этом шаблонный код.

    Мастер-класс будет носить практический характер: большую часть времени мы посвятим разбору примеров кода. Мы рассмотрим следующие темы:

    • Введение в Java и PostgreSQL.
    • Варианты соединения с PostgreSQL из Java-приложения (и не только с помощью JDBC!)
    • Введение в JDBC. Типы JDBC. PostgreSQL JDBC
    • Демонстрация кода: JDBC и PostgreSQL. От Java 1.4 к Java 8, лучшие практики и примеры кода.
    • Демонстрация кода: jOOQ, менеджер памяти для PostgreSQL.
    • Java в PostgreSQL.
    • Будущее Java и PostgreSQL.

  • Дмитрий Мельник
    Дмитрий Мельник ИСП РАН разработчик
    22 мин

    Динамическая компиляция SQL-запросов в PostgreSQL с использованием LLVM JIT

    В данный момент в PostgreSQL для исполнения SQL-запросов применяется интерпретатор, реализующий модель итераторов (Volcano-модель). В то же время можно добиться существенного ускорения, выполняя динамическую компиляцию запроса «на лету». В этом случае можно генерировать код, специализированный для конкретного SQL-запроса, а также применять компиляторные оптимизации, учитывая, что во время выполнения уже известна структура используемых таблиц и типы данных. Такой подход особенно актуален для сложных запросов, скорость выполнения которых ограничена производительностью процессора.

  • Дмитрий Белявский
    Дмитрий Белявский ТЦИ Ведущий специалист
    45 мин

    Криптография в реляционных СУБД

    При работе с данными существует необходимость криптографической защиты некоторых данных. Презентация описывает некоторые задачи, которые можно решить с помощью криптографии, и правильные подходы к применению криптографии при разработке приложений, использующих СУБД. Отдельно рассказывается от последних результатах, достигнутых в части применения криптографии в PostgreSQL.

    ВИДЕО

  • Roland Sonnenschein
    Roland Sonnenschein Hesotech GmbH CEO
    45 мин

    Оптимизация PostgreSQL для реальных промышленных систем

    Зачастую по требованию клиента или даже закона необходимо документировать специфику производства продукта в целом и его частей. Этот доклад посвящен теме автоматической генерации и хранения соответствующей административной информации. К административной информации относятся такие данные как номер поставки, артикул, серийный номер, дата изготовления. Такие данные часто обмениваются с ERP-системами.

    Разработку таких приложений можно значительно упростить, если использовать NoSQL-функциональность PostgreSQL, особенно json и jsonb.