title

text

Камиль Исламов
Камиль Исламов Stickeroid Ai CTO
: декабря
22 мин

Оптимизация обработки данных аналитических отчётов

Приводится методика, с помощью которой можно автоматизировать обновление результатов предварительной обработки аналитических данных. Предварительная обработка и кэширование отчётов позволяет моментально получать результаты отчётов по большим объёмам данных. В докладе описывается способ обновления кэшированных отчётов с минимальной нагрузкой на сервер и с управляемой степенью актуальности.

Слайды

Видео

Другие доклады

  • Александр Чистяков
    Александр Чистяков ISST Lab, ITMO University Researcher
    22 мин

    Слон из нержавеющей стали: продолжаем тестирование производительности PostgreSQL

    Замечательная компания servers.com предоставила нам один из своих серверов для тестов, что позволило нам протестировать производительность PostgreSQL на реальном железе под разными операционными системами, включая SmartOS, DragonFly и Windows. Полученные результаты мы хотим представить сообществу.

  • Ильдар Мусин
    Ильдар Мусин Postgres Professional Разработчик
    22 мин

    Секционирование без границ

    Механизм секционирования в Postgres имеет ряд ограничений, которые не позволяют использовать концепцию секционирования в полной мере. Среди таких ограничений можно выделить неэффективность планирования запросов для секционированных таблиц (линейный рост времени планирования при увеличении количества секций), отсутствие HASH-секционирования, необходимость ручного управления секциями. Однако, средства расширяемости Postgres предоставляют разработчику широкие возможности, позволяющие обойти некоторые ограничения. В докладе будет рассказано, как внедрившись в код планировщика удалось оптимизировать время планирования запросов. Так метод бинарного поиска позволяет добиться логарифмического роста времени планирования для RANGE-секционированных таблиц. Поэтому использование даже тысяч секций не будет приводить к существенным накладным расходам. Также удалось реализовать HASH-секционирование с близким к константному времени планирования.

  • Peter  van Hardenberg
    Peter van Hardenberg Heroku Главный исследователь
    45 мин

    Мега-масштабирование PostgreSQL: Советы от работающих с 10^6 баз данных

    Heroku Postgres is a cloud database service and the largest provider of PostgreSQL as a service anywhere. We operate more than 1,000,000 PostgreSQL databases with a team of about 10 people. We may be the most efficient DBAs in history, with approximately 100,000 databases per person on our team! This talk will introduce the opportunity and challenges of building and operating a cloud database service, as well as discussing the strategies we use to build, operate, and scale this product and team for the last six years now. We will include details about

    • a brief introduction to the service to provide context
    • strategies to design and build such a data service
    • operational war stories like how to recover from losing thousands of servers at once,
    • common challenges users have with Postgres
    • and a basic overview of the technical architecture

    This is a complementary talk to Will Leinweber's talk, which will go into much more depth on the architecture of the software we have written.

  • Сергей Бурладян
    Сергей Бурладян Avito Архитектор баз данных
    45 мин

    Администрирование PostgreSQL в Avito

    Мой доклад будет посвящён особенностям использования и администрирования PostgreSQL в Debian GNU/Linux в Avito. В частности, таким проблемам как:

    - bash скрипты
    - утилиты pg_* debian
    - отладка postgres: perf, gdb
    - COPY без разрывов: psql, pipe
    - pgbouncer: один, два, ... больше?
    - cron
    - мониторинг
    - очередь на advisory lock
    - файловый кеш
    - DDL на нагруженной базе
    - и т.д.