Миллиард строк в секунду на PostgreSQL
Базы данных растут в размерах, так что нужда обрабатывать огромные объемы данных в реальном времени становится все острее. Пока производители коммерческих СУБД хвастаются своими возможностями, мы решили чуточку улучшить PostgreSQL, чтобы показать его возможности в переваривании более миллиарда строк в секунду, просто для демонстрации возможностей open source.
Тем, для кого миллиард строк в секунду - немного, сообщаем, что это не предел, возможности гораздо больше. Приходите посмотреть, как мы делаем это.
ВИДЕО
Слайды
Другие доклады
-
45 мин
Андрей Бородин Яндекс РазработчикВозможности ускорения GiST: патчи, хаки, твики
В этом докладе будут рассмотрены идеи и их реализации по ускорению различных частей обобщённых поисковых деревьев (GiST) :
- Внутристраничное индексирование
- Технология фрактальных деревьев
- Применение современных алгоритмов индексирования многомерных данных (RR*-дерево)
- Возможные расширения интерфейса GiST
ВИДЕО
-
22 мин
Игорь Ведёхин IBS Заместитель генерального директораСкала-СР / Postgres Pro — предконфигурированные высокопроизводительные машины баз данных
Машины баз данных — представители «высшего света» в мире корпоративных ИТ; Teradata, Exadata, Netezza — не смотря на то, что в их основе вполне доступные серверные узлы архитектуры x86 — о них говорят и пишут как о hi-end-системах, на что есть определённые основания. Объективно машины баз данных востребованы многими корпоративными заказчиками, как за уникальные возможности, так и за те удобства, которые дают готовые предконфигурированные комплексы.
Консорциум в составе системного интегратора IBS, выполнившего немало проектов по внедрению различных машин баз данных, российского вендора PostgreSQL Postgres Professional и израильской компании-разработчика суперкомпьютерных сетевых решений Mellanox представил машины баз данных в различных конфигурациях для PostgreSQL под управлением СУБД Postgres Pro Enterprise.
-
22 мин
Филипп Дельгядо ООО «Лектон» архитектор департаментаСложные структуры без ORM
Я очень люблю сложные предметные области, строгую типизацию в приложении и 3НФ, но очень не люблю ORM. Поэтому мне приходится активно использовать хранение сериализованных структур в json-полях (даже до появления типа json). В докладе расскажу о некоторых особенностях работы с хранением сложных объектов внутри полей СУБД, расскажу где и как подстелить себе соломку и какие проблемы могут возникнуть.
ВИДЕО
-
22 мин
Алексей Мергасов НОКСА Дата Лаб Директор по разработкеЭффективная работа с 10+ ПБ данных в PostgreSQL или новая парадигма построения "бережливых" инфраструктур данных для Data-Driven Enterprise
Алексей расскажет о технических деталях и опыте применения подхода экстремальной нормализации данных для создания инфраструктур данных с уникальными потребительскими характеристиками. В сравнении с решениями лидеров рынка такие инфраструктуры обладают, например, такими преимуществами, как: - оперативная обработка 10 ПБ данных и больше, - в 2-6 раз более высокая производительность, - сквозная 100% консистентность данных, - практически линейная горизонтальная масштабируемость, - в 4-10 более низкая стоимость владения, - и т. д. Изложенный подход уже нашел применение за пределами России в решениях для операторов связи, ритейла, финтеха, современном производстве (Industry 4.0, индустриальный IoT), в государственном секторе.
ВИДЕО