Эффективная работа с 10+ ПБ данных в PostgreSQL или новая парадигма построения "бережливых" инфраструктур данных для Data-Driven Enterprise
Алексей расскажет о технических деталях и опыте применения подхода экстремальной нормализации данных для создания инфраструктур данных с уникальными потребительскими характеристиками. В сравнении с решениями лидеров рынка такие инфраструктуры обладают, например, такими преимуществами, как: - оперативная обработка 10 ПБ данных и больше, - в 2-6 раз более высокая производительность, - сквозная 100% консистентность данных, - практически линейная горизонтальная масштабируемость, - в 4-10 более низкая стоимость владения, - и т. д. Изложенный подход уже нашел применение за пределами России в решениях для операторов связи, ритейла, финтеха, современном производстве (Industry 4.0, индустриальный IoT), в государственном секторе.
ВИДЕО
Слайды
Другие доклады
-
Alvaro Hernandez 8Kdata CTO
PostgreSQL и Java: мастер-класс
Java – один из наиболее популярных языков программирования для СУБД PostgreSQL. На этом мастер-классе вы узнаете основные способы соединения с postgres и лучшие методики программирования по стандарту JDBC, а также познакомитесь с jOOQ – менеджером памяти, позволяющим использовать все возможности SQL и postgres для построения сложных запросов, не используя при этом шаблонный код.
Мастер-класс будет носить практический характер: большую часть времени мы посвятим разбору примеров кода. Мы рассмотрим следующие темы:
- Введение в Java и PostgreSQL.
- Варианты соединения с PostgreSQL из Java-приложения (и не только с помощью JDBC!)
- Введение в JDBC. Типы JDBC. PostgreSQL JDBC
- Демонстрация кода: JDBC и PostgreSQL. От Java 1.4 к Java 8, лучшие практики и примеры кода.
- Демонстрация кода: jOOQ, менеджер памяти для PostgreSQL.
- Java в PostgreSQL.
- Будущее Java и PostgreSQL.
-
Дмитрий Мельник ИСП РАН разработчик
Динамическая компиляция SQL-запросов в PostgreSQL с использованием LLVM JIT
В данный момент в PostgreSQL для исполнения SQL-запросов применяется интерпретатор, реализующий модель итераторов (Volcano-модель). В то же время можно добиться существенного ускорения, выполняя динамическую компиляцию запроса «на лету». В этом случае можно генерировать код, специализированный для конкретного SQL-запроса, а также применять компиляторные оптимизации, учитывая, что во время выполнения уже известна структура используемых таблиц и типы данных. Такой подход особенно актуален для сложных запросов, скорость выполнения которых ограничена производительностью процессора.
-
Дмитрий Белявский ТЦИ Ведущий специалист
Криптография в реляционных СУБД
При работе с данными существует необходимость криптографической защиты некоторых данных. Презентация описывает некоторые задачи, которые можно решить с помощью криптографии, и правильные подходы к применению криптографии при разработке приложений, использующих СУБД. Отдельно рассказывается от последних результатах, достигнутых в части применения криптографии в PostgreSQL.
ВИДЕО
-
Roland Sonnenschein Hesotech GmbH CEO
Оптимизация PostgreSQL для реальных промышленных систем
Зачастую по требованию клиента или даже закона необходимо документировать специфику производства продукта в целом и его частей. Этот доклад посвящен теме автоматической генерации и хранения соответствующей административной информации. К административной информации относятся такие данные как номер поставки, артикул, серийный номер, дата изготовления. Такие данные часто обмениваются с ERP-системами.
Разработку таких приложений можно значительно упростить, если использовать NoSQL-функциональность PostgreSQL, особенно json и jsonb.