title

text

Hans-Jürgen Schönig
Hans-Jürgen Schönig Cybertec Schönig & Schönig GmbH CEO
12:00 17 марта
45 мин

Миллиард строк в секунду на PostgreSQL

Базы данных растут в размерах, так что нужда обрабатывать огромные объемы данных в реальном времени становится все острее. Пока производители коммерческих СУБД хвастаются своими возможностями, мы решили чуточку улучшить PostgreSQL, чтобы показать его возможности в переваривании более миллиарда строк в секунду, просто для демонстрации возможностей open source.

Тем, для кого миллиард строк в секунду - немного, сообщаем, что это не предел, возможности гораздо больше. Приходите посмотреть, как мы делаем это.

ВИДЕО

Слайды

Другие доклады

  • Alvaro Hernandez
    Alvaro Hernandez 8Kdata CTO
    180 мин

    PostgreSQL и Java: мастер-класс

    Java – один из наиболее популярных языков программирования для СУБД PostgreSQL. На этом мастер-классе вы узнаете основные способы соединения с postgres и лучшие методики программирования по стандарту JDBC, а также познакомитесь с jOOQ – менеджером памяти, позволяющим использовать все возможности SQL и postgres для построения сложных запросов, не используя при этом шаблонный код.

    Мастер-класс будет носить практический характер: большую часть времени мы посвятим разбору примеров кода. Мы рассмотрим следующие темы:

    • Введение в Java и PostgreSQL.
    • Варианты соединения с PostgreSQL из Java-приложения (и не только с помощью JDBC!)
    • Введение в JDBC. Типы JDBC. PostgreSQL JDBC
    • Демонстрация кода: JDBC и PostgreSQL. От Java 1.4 к Java 8, лучшие практики и примеры кода.
    • Демонстрация кода: jOOQ, менеджер памяти для PostgreSQL.
    • Java в PostgreSQL.
    • Будущее Java и PostgreSQL.

  • Дмитрий Погибенко
    Дмитрий Погибенко ФГБУ "НИИ Восход"
    Иван Богданов
    Иван Богданов НИИ "Восход" Ведущий разработчик
    Илья Космодемьянский
    Илья Космодемьянский Data Egret
    Игорь Чижевский
    Игорь Чижевский НИИ "Восход" Заместитель руководителя департамента разработки
    Сергей Королев
    Сергей Королев МЦСТ инженер-программист
    Станислав Мерзляков
    Станислав Мерзляков ФГБУ НИИ "Восход"
    45 мин

    Восход PostgreSQL на Эльбрус

    Тотальное импортозамещение: не только Эльбрусы, но только хардкор. Практический опыт использования PostgreSQL на отечественном оборудовании в одной из важных государственных информационных систем.

    В докладе будет рассказано о практике применение отечественного оборудования и свободного ПО, включая PostgreSQL, для миграции центра обработки данных государственной информационной системы, использовавшей оборудования и ПО IBM. Будет рассказано о применённом подходе и технологиях миграции БД “наживую” без останова работы Системы с IBM DB2 на PostgreSQL, о оптимизациях PostgreSQL для использования на процессорах Эльбрус, о практическом опыте эксплуатации cистемы.

  • Дмитрий Белобородов
    Дмитрий Белобородов UIS, CoMagic Технический директор
    45 мин

    Опыт использования PostgreSQL в проектах UIS, CoMagic

    Мы используем PostgreSQL с 2003 года и прошли путь от базы в пару гигабайт до кластера с текущим размером более 5Тб. Текущие кол-во таблиц > 700, число хранимых процедур ~1500. Чем готовы поделиться: - рассказать о проблемах, с которыми пришлось сталкиваться на разных этапах развития и найденными решениями - наработанными практиками администрирования - мы работаем с несколькими базами, которые тесно связаны друг с другом, используем для этого свое расширение - у нас работает несколько команд, и есть выработанная методика и инструменты, которые позволяют им не мешать друг другу - мы используем много различных стендов для тестирования, готовы рассказать по какому принципу и как мы их поднимаем - ну, и конечно, про оптимизацию, поиск узких мест и ситуаций, с которыми нам приходится сталкиваться при нагрузках

    ВИДЕО

  • Александр Коротков
    Александр Коротков Postgres Professional Руководитель разработки
    Андрей Николаенко
    Андрей Николаенко Скала-Р архитектор
    Борис Нейман
    Борис Нейман Mellanox
    22 мин

    Интерконнект на стероидах для машины баз данных Скала-СР / Postgres Pro

    В машинах баз данных от Oracle и Teradata в качестве внутренней сети применяется Infiniband, и для его использования вендорами созданы проприетарные протоколы (iDB, BYNET). Для комплексов Скала-СР / Postgres Pro применен интерконнект на базе Ethernet со всеми свойствами, присущими Infiniband — субмикросекундными задержками, стагигабитной пропускной способностью, и, главное, поддержкой RDMA — протокола прямого доступа к оперативной памяти удалённых узлов с разгрузкой центральных процессоров от транспортных операций. Специально для поддержки этих возможностей в машинах баз данных в Postgres Professional разработали программные дополнения, обеспечивающие доставку журналов упреждающей записи и координацию транзакций по RDMA, им и будет посвящена основная часть доклада. Кроме того, в докладе будут представлены конфигурации, основные технические характеристики и результаты испытаний комплексов линейки Скала-СР / Postgres Pro.