Architecting petabyte-scale analytics by scaling out Postgres on Azure with Citus
The story about powering a 1.5 petabyte analytics application with 2816 cores and 18.7 TB of memory in the Citus cluster at the Microsoft. The Windows team measures the quality of new software builds by scrutinizing 20,000 diagnostic metrics based on data flowing in from 800 million Windows devices. At the same time, the team evaluates feedback from Microsoft engineers who are using pre-release versions of Windows updates. At Microsoft, the Windows diagnostic metrics are displayed on a real-time analytics dashboard called “Release Quality View” (RQV), which helps the internal “ship-room” team assess the quality of the customer experience before each new Windows update is released. Given the importance of Windows for Microsoft’s customers, the RQV analytics dashboard is a critical tool for Windows engineers, program managers, and execs.
Слайды
Другие доклады
-
45 мин
Кирилл Боровиков ООО "Компания "Тензор" Технический директорПлан + запрос = ?.. Когда анализ запроса в радость
- Странные вещи при анализе планов, и почему они происходят - сказка о потеряном времени и "лишние" buffers.
- Структурные подсказки в плане. Как помочь разработчику с оптимизацией, не написав ни строчки кода.
- Как соотнести узлы плана с текстом запроса и что из этого можно извлечь.
-
Федор Сигаев Postgres Professional технический директор, ведущий разработчик PostgreSQLPostgres Pro Enterprise
Рассказ об основных фичах, отличающих Enterprise-версию Postgres Pro, представленный их разработчиком.
-
45 мин
Брюс Момжиан EnterpriseDB Senior Database ArchitectUnlocking the Postgres Lock Manager
Locking is critical for providing high concurrency for any database — you cannot fully utilize your hardware if locking is throttling its use. This talk explores all aspects of locking in Postgres by showing queries and their locks; covered lock types include row, table, shared, exclusive, and advisory lock types. The high concurrency provided by Multiversion Concurrency Control (MVCC) is also covered.
Slides are at https://momjian.us/main/writings/pgsql/locking.pdf
-
22 мин
Андрей Зубков ООО "Пармалогика" Администратор баз данныхПример использования GiST в решении нестандартной поисковой задачи
Я расскажу о том, как приспосабливал индекс GiST для решения одной частной задачи на примере поиска текстов, "похожих" на данный в большом наборе текстов. Сама по себе задача довольно узкая и в общем случае ценности не представляет. Но она простая, понятная и отлично подходит в качестве иллюстрации. Интересен подход к построениею стратегии индексирования и поиска при решении нестандартной поисковой задачи почти без программирования с использованием сильных сторон индекса GiST. Возможно, это поможет вам найти решение для каких-то других поисковых задач.