Миллиард строк в секунду на PostgreSQL
Базы данных растут в размерах, так что нужда обрабатывать огромные объемы данных в реальном времени становится все острее. Пока производители коммерческих СУБД хвастаются своими возможностями, мы решили чуточку улучшить PostgreSQL, чтобы показать его возможности в переваривании более миллиарда строк в секунду, просто для демонстрации возможностей open source.
Тем, для кого миллиард строк в секунду - немного, сообщаем, что это не предел, возможности гораздо больше. Приходите посмотреть, как мы делаем это.
ВИДЕО
Слайды
Другие доклады
-
22 мин
Дмитрий Суша ООО Испаер Системс Начальник отдела по миграции и модернизации баз данныхАвтоматизация перехода в PostgreSQL с других баз данных
В докладе будет освещена автоматизация перехода в PostgreSQL c других баз данных с помощью Ispirer Migration and Modernization Toolkit. Будут затронуты вопросы миграции данных и SQL кода, конвертации клиентских приложений, встроенного SQL и API баз данных, рассмотрены примеры осуществлённых проектов по миграции из Oracle в PostgreSQL и из Microsoft SQL Server в PostgreSQL.
ВИДЕО
-
45 мин
Roland Sonnenschein Hesotech GmbH CEOОптимизация PostgreSQL для реальных промышленных систем
Зачастую по требованию клиента или даже закона необходимо документировать специфику производства продукта в целом и его частей. Этот доклад посвящен теме автоматической генерации и хранения соответствующей административной информации. К административной информации относятся такие данные как номер поставки, артикул, серийный номер, дата изготовления. Такие данные часто обмениваются с ERP-системами.
Разработку таких приложений можно значительно упростить, если использовать NoSQL-функциональность PostgreSQL, особенно json и jsonb.
-
22 мин
Андрей Николаенко Скала-Р архитектор
Александр Коротков Postgres Professional Руководитель разработки
Борис Нейман MellanoxИнтерконнект на стероидах для машины баз данных Скала-СР / Postgres Pro
В машинах баз данных от Oracle и Teradata в качестве внутренней сети применяется Infiniband, и для его использования вендорами созданы проприетарные протоколы (iDB, BYNET). Для комплексов Скала-СР / Postgres Pro применен интерконнект на базе Ethernet со всеми свойствами, присущими Infiniband — субмикросекундными задержками, стагигабитной пропускной способностью, и, главное, поддержкой RDMA — протокола прямого доступа к оперативной памяти удалённых узлов с разгрузкой центральных процессоров от транспортных операций. Специально для поддержки этих возможностей в машинах баз данных в Postgres Professional разработали программные дополнения, обеспечивающие доставку журналов упреждающей записи и координацию транзакций по RDMA, им и будет посвящена основная часть доклада. Кроме того, в докладе будут представлены конфигурации, основные технические характеристики и результаты испытаний комплексов линейки Скала-СР / Postgres Pro.
-
45 мин
Александр Коротков Postgres Professional Руководитель разработки
RUM-индексы и их применение
Я представлю новый метод доступа, который расширяет имеющиеся возможности GIN-индексов, используя дополнительную информацию, хранящуюся в списке/дереве идентификаторов. Например, дополнительная информация о позициях позволяет новому методу доступа возвращать результаты по релевантности, что может значительно сократить время исполнения полнотекстовых запросов. Это также может ускорить фразовый поиск, так что данный метод будет весьма эффективным при полнотекстовом поиске. Сохранение временных меток открывает перед нами несколько интересных возможностей – мы можем отсортировать результаты по времени (например, свежие статьи, удовлетворяющие полнотекстовому запросу) на основе временных меток как таковых или сохраненных указателей, упорядоченных по временным меткам. Оба способа обеспечивают на порядок большее ускорение для таких типов запросов.