![Вадим Яценко Вадим Яценко](/media/2016/12/09/xoAiAuOpLaI.jpg.180x180.jpg)
Очень большие таблицы в PostgreSQL. Или как превратить 60+ Tb в 10+ Tb
В докладе будет рассказано о том, как мы реализовали хранение таблиц с большим количеством строк (1 млрд + строк в сутки). Проект существует в production 2 год. Это крупный транспортный проект всероссийского масштаба.
Суммарный объем данных 300 Tb на 25 серверах PostgreSQL * 2 Data Center. Будет рассказано об ошибках организации хранения больших таблиц на начальном этапе проекта, и о том как эти ошибки были устранены. Так же расскажу о том, как организована ротация данных и архивирование. Затрону вопросы о том, чего нам не хватало в PostgreSQL 9.4 из того, что появилось в 9.5 и в 9.6. А так же, какие новые возможности, нам хотелось бы увидеть в новых релизах PostgreSQL.
Слайды
Видео
Другие доклады
-
Филипп Дельгядо ООО «Лектон» архитектор департамента
Сложные структуры без ORM
Я очень люблю сложные предметные области, строгую типизацию в приложении и 3НФ, но очень не люблю ORM. Поэтому мне приходится активно использовать хранение сериализованных структур в json-полях (даже до появления типа json). В докладе расскажу о некоторых особенностях работы с хранением сложных объектов внутри полей СУБД, расскажу где и как подстелить себе соломку и какие проблемы могут возникнуть.
ВИДЕО
-
Peter van Hardenberg Heroku Главный исследователь
История Postgres
Сообществу PostgreSQL уже более 20 лет, но история PostgreSQL началась задолго до его основания. Из этого доклада вы узнаете об истоках проекта Postgres, о людях, которые развивали его, как он изменился со временем и какое место в развитии PostgreSQL занимает российское сообщество.
-
Павел Лузанов Postgres Professional Руководитель образовательных программ
Обзор средств для отладки, профилирования и трассировки серверного кода
Отладка, профилирование и трассировка выполняемых команд являются важной частью процесса разработки любых приложений. Это актуально и при разработке хранимых процедур в СУБД.
PostgreSQL предлагает различные инструменты (как встроенные, так и сторонние) для решения этих задач.
В докладе представлен обзор имеющихся средств, с описанием сильных и слабых сторон. А также подробная демонстрация примеров использования.
Представленный материал является частью базового курса для разработчиков серверной части приложения (DEV1), который компания “Постгрес Профессиональный” планирует анонсировать в ближайшее время.
Материалы к мастер-классу:
-
Алексей Мергасов НОКСА Дата Лаб Директор по разработке
Эффективная работа с 10+ ПБ данных в PostgreSQL или новая парадигма построения "бережливых" инфраструктур данных для Data-Driven Enterprise
Алексей расскажет о технических деталях и опыте применения подхода экстремальной нормализации данных для создания инфраструктур данных с уникальными потребительскими характеристиками. В сравнении с решениями лидеров рынка такие инфраструктуры обладают, например, такими преимуществами, как: - оперативная обработка 10 ПБ данных и больше, - в 2-6 раз более высокая производительность, - сквозная 100% консистентность данных, - практически линейная горизонтальная масштабируемость, - в 4-10 более низкая стоимость владения, - и т. д. Изложенный подход уже нашел применение за пределами России в решениях для операторов связи, ритейла, финтеха, современном производстве (Industry 4.0, индустриальный IoT), в государственном секторе.
ВИДЕО