Architecting petabyte-scale analytics by scaling out Postgres on Azure with Citus
The story about powering a 1.5 petabyte analytics application with 2816 cores and 18.7 TB of memory in the Citus cluster at the Microsoft. The Windows team measures the quality of new software builds by scrutinizing 20,000 diagnostic metrics based on data flowing in from 800 million Windows devices. At the same time, the team evaluates feedback from Microsoft engineers who are using pre-release versions of Windows updates. At Microsoft, the Windows diagnostic metrics are displayed on a real-time analytics dashboard called “Release Quality View” (RQV), which helps the internal “ship-room” team assess the quality of the customer experience before each new Windows update is released. Given the importance of Windows for Microsoft’s customers, the RQV analytics dashboard is a critical tool for Windows engineers, program managers, and execs.
Слайды
Другие доклады
-
45 мин
Pavel Stehule freelancer Независимый консультант и разработчикThe performance problems related migrations from PL/SQL to PL/pgSQL
Porting applications from Oracle to Postgres is common work today. Unfortunately it is not without problems. In presentation I'll try to show the basic performance problems related to differences between Oracle and Postgres and PL/SQL and PL/pgSQL.
-
45 мин
Christopher Travers DeliveryHero SE Principle EngineerIntroducing Bagger: Massive Application Log Management on PostgreSQL
This talk discusses the open source components we use at Adjust to manage a massive number (5+PB) of application log messages on PostgreSQL in a massively multi-parallel way. It provides both a use case for PostgreSQL in a big data (high volume/velocity/variety) environment, and can be used to show the power of PostgreSQL with JSONB, GIN, and more.
This talk covers the capabilities of the components in depth, sufficient to inspire similar solutions.
-
45 мин
Анатолий Анфиногенов АО "ВНИИЖТ" Зам. директора научного центра - начальник отдела разработки ПОКак я перестал беспокоиться и перенес 60K строк из 150 процедур PL/SQL в Postgres.
В докладе рассказывается об опыте переноса серверного приложения, работающего на полигоне железных дорог от Калининграда до Хабаровска, с Oracle 11g Standard Edition на ванильный PostgreSQL 11.5.
На момент начала миграции база данных насчитывала порядка 200 хранимых процедур на языке Oracle PL/SQL общим объемом порядка 60000 строк (которые создавались с 2006 года, т.е. уже более 12 лет), около 250 таблиц и 50 Гбайт данных.
Доклад содержит описание сопровождавших этот процесс приключений, приятных и неприятных открытий, а также пролог, эпилог и хэппи-энд.Повествование ведется от лица пользователя Oracle, открывающего для себя Postgres.
-
45 мин
Кирилл Боровиков ООО "Компания "Тензор" Технический директорПлан + запрос = ?.. Когда анализ запроса в радость
- Странные вещи при анализе планов, и почему они происходят - сказка о потеряном времени и "лишние" buffers.
- Структурные подсказки в плане. Как помочь разработчику с оптимизацией, не написав ни строчки кода.
- Как соотнести узлы плана с текстом запроса и что из этого можно извлечь.