title

text

Сергей Новиков
Сергей Новиков ЕДИНЫЙ ЦУПИС Lead DBA
12:05 25 октября
90 мин

Внедрение партицирования без простоя

Встроенный механизм партицирования в PostgreSQL активно развивается уже несколько лет, но пока ещё нет волшебной кнопки для превращения обычной таблицы в партицированную. Я расскажу, как внедрить партицирование в production-системе без дополнительного простоя, как правильно подготовить таблицу и приложения, какие ошибки подстерегают DBA. Также будут подробно рассмотрены различные техники переноса данных между партициями, их плюсы, минусы и ограничения.

Слайды

Видео

Видео доступно участникам мероприятия, выполнившим вход в личный кабинет

Другие доклады

  • Олег Бартунов
    Олег Бартунов Postgres Professional генеральный директор
    Никита Глухов
    Никита Глухов Postgres Professional Старший разработчик
    45 мин

    Элегантный поиск ближайших соседей в PostgreSQL

    С необходимостью эффективного поиска ближайших соседей можно встретиться в разных задачах, например, поиск ближайших к заданной точке объектов на карте. Задача, на непрограммистский взгляд кажущаяся тривиальной (действительно, человек довольно легко справляется с ней глядя на карту) , на самом деле не имеет общего и доступного решения, что приводит к головной боли разработчиков, которые придумывают ad hoc решения (вставляют костыли). Эти решения, обычно некрасивые, портят настроение творческой натуры программиста, которому требуется посещение пивной, чтобы пережить когнитивный диссонанс :)

    Действительно, если у человека есть карта, у которой есть определенный масштаб, и характерный размер поля зрения, то у программиста есть только координаты заданной точки и множество точек, которых может быть очень много (миллиарды звезд !), и к которому может идти большое количество конкурентных запросов, причем не только на чтение. Язык SQL позволяет очень красиво записать запрос, но реальный план его выполнения удручает - требуется прочитать всю таблицу, вычислить все расстояния от заданной точки, отсортировать по убыванию и оставить требуемое количество записей. Наличие индексов не спасает, а только приводит к полному обходу поискового дерева и чтения всей таблицы в случайном порядке, что гораздо медленнее простого чтения таблицы.

    В действительности, класс задач, в которых требуется эффективный поиск ближайших соседей, гораздо шире задач пространственного поиска, например, задачи классификации, задачи поиска очепяток, кластеризации, дедупликации данных. Все они могут сильно выиграть от поддержки эффективного поиска ближайших соседей в СУБД, которые являются в настоящее время де-факто стандартом хранения данных. Эффективный поиск означает быстрый, конкурентный, масштабируемый поиск и поддержку различных типов данных (возможно, нестандартных), что и было реализовано 11 лет назад в PostgreSQL. Я расскажу про его реализацию, современное состояние и примеры использования.

  • Сергей Ридер
    Сергей Ридер DBeaver Corp Технический директор
    Татьяна Крупеня
    Татьяна Крупеня DBeaver Corp CEO
    22 мин

    Как ускорить загрузку данных в 10 000 раз?

    Что может быть важнее скорости в вопросе загрузки данных в базу? Миграция данных одна из самых востребованных функций в DBeaver, поэтому вопрос производительности стоял для нас очень остро, причем не только в применении для PostgreSQL, но и для Greenplum, Redshift и других баз, основанных на Postgres. Мы готовы поделиться маленькими секретами, как ускорить загрузку данных в 10, 100, 1000 и даже 10 000 раз без всякой магии.

  • Андрей Бородин
    Андрей Бородин Яндекс.Облако Руководитель подразделения разработки РСУБД с открытым исходным кодом
    45 мин

    Детали реализации CREATE INDEX CONCURRENTLY

    С начала 2021 года я исправляю редкий баг в CREATE INDEX CONCURRENTLY. Настолько редкий, что со времён появления в 8.2 я не нашёл его упоминаний. Тем не менее, наши системы этот баг аффектил часто, и я занялся его починкой. Так началась довольно длинная детективная история, в которой я узнал много интересных деталей и улучшил своё понимание транзакций в PostgreSQL.

  • Christopher Travers
    Christopher Travers DeliveryHero SE Principle Engineer
    45 мин

    Почему методика Crew Resource Management должна применяться в СУБД-командах?

    Crew Resource Management - методика, которая играет важную роль в тренировке персонала в таких областях, как авиация и атомная энергетика. Тем не менее, в IT-индустрии, эта методика до сих пор широко не внедрялась. В рамках данного доклада мы познакомимся с методикой Crew Resource Management (CRM), с проблемами, которые она решает, и почему её стоит применять во всех СУБД-командах.

    Несколько кейсов, имеющих отношение к PostgreSQL, будут разобраны с технической точки зрения и с точки зрения человеческого фактора.