Использование PostgreSQL в сервисе автоматизации контекстной рекламы Alytics для near-realtime обработки смешанной нагрузки OLTP + OLAP
В слое хранения, используя PostgreSQL с самого старта разработки, мы прошли путь от небольшого кластера на виртуалке до многохостовой системы, которая обеспечивает near real-time обработку смешанной OLTP-OLAP нагрузки. В этом докладе собираюсь рассказать про основные этапы развития нашего аналитического решения на уровне приложения и инфраструктуры, особенности эксплуатации PG, которые возникали в процессе.
ВИДЕО
Слайды
Другие доклады
-
22 мин
Сергей Мирвода ООО Октоника, УрФУ Ведущий программист, старший преподавательАналитика в сёла! Опыт внедрения BI системы, функционирующей на ограниченном или разделяемом железе
Опыт разработки с нуля, внедрения и развития BI системы http://colibri365.ru для анализа данных в государственных органах. Современные реалии в муниципалитетах РФ, как мы с этим живём. Выжимание производительности из постгреса, использование новейших функций, переписывание запросов, чтобы оптимизатору было проще и другие особенности нашей системы. Приведшие к написанию 4 научных статей и 4 патчей к PG, подробнее о которых в докладах Андрея Бородина.
ВИДЕО
-
45 мин
Aleš Zelený Česká spořitelna a.s. Менеджер департамента хранения данныхВведение в PostgreSQL для Oracle DBA
Этот доклад будет интересен как Oracle DBA, рассматривающим PostgreSQL как альтернативную реляционную СУБД в своем портфолио, так и PostgreSQL DBA, которые хотят сравнить Oracle и PostgreSQL. Этот доклад не является руководством по миграции или призывом использовать ту или иную платформу. Мы сравним общую структуру обеих платформ с точки зрения конфигурирования памяти, логические структуры данных и их физическое представление, затронем некоторые вопросы безопасности, а также рассмотрим имеющиеся инструменты резервного копирования и восстановления данных.
-
22 мин
Александр Коротков Postgres Professional Руководитель разработки
Андрей Николаенко Скала-Р архитектор
Борис Нейман MellanoxИнтерконнект на стероидах для машины баз данных Скала-СР / Postgres Pro
В машинах баз данных от Oracle и Teradata в качестве внутренней сети применяется Infiniband, и для его использования вендорами созданы проприетарные протоколы (iDB, BYNET). Для комплексов Скала-СР / Postgres Pro применен интерконнект на базе Ethernet со всеми свойствами, присущими Infiniband — субмикросекундными задержками, стагигабитной пропускной способностью, и, главное, поддержкой RDMA — протокола прямого доступа к оперативной памяти удалённых узлов с разгрузкой центральных процессоров от транспортных операций. Специально для поддержки этих возможностей в машинах баз данных в Postgres Professional разработали программные дополнения, обеспечивающие доставку журналов упреждающей записи и координацию транзакций по RDMA, им и будет посвящена основная часть доклада. Кроме того, в докладе будут представлены конфигурации, основные технические характеристики и результаты испытаний комплексов линейки Скала-СР / Postgres Pro.
-
45 мин
Вадим Яценко ООО Прогресс Софт Начальник Отдела разработки систем хранения данныхОчень большие таблицы в PostgreSQL. Или как превратить 60+ Tb в 10+ Tb
В докладе будет рассказано о том, как мы реализовали хранение таблиц с большим количеством строк (1 млрд + строк в сутки). Проект существует в production 2 год. Это крупный транспортный проект всероссийского масштаба.
Суммарный объем данных 300 Tb на 25 серверах PostgreSQL * 2 Data Center. Будет рассказано об ошибках организации хранения больших таблиц на начальном этапе проекта, и о том как эти ошибки были устранены. Так же расскажу о том, как организована ротация данных и архивирование. Затрону вопросы о том, чего нам не хватало в PostgreSQL 9.4 из того, что появилось в 9.5 и в 9.6. А так же, какие новые возможности, нам хотелось бы увидеть в новых релизах PostgreSQL.