Очень большие таблицы в PostgreSQL. Или как превратить 60+ Tb в 10+ Tb
В докладе будет рассказано о том, как мы реализовали хранение таблиц с большим количеством строк (1 млрд + строк в сутки). Проект существует в production 2 год. Это крупный транспортный проект всероссийского масштаба.
Суммарный объем данных 300 Tb на 25 серверах PostgreSQL * 2 Data Center. Будет рассказано об ошибках организации хранения больших таблиц на начальном этапе проекта, и о том как эти ошибки были устранены. Так же расскажу о том, как организована ротация данных и архивирование. Затрону вопросы о том, чего нам не хватало в PostgreSQL 9.4 из того, что появилось в 9.5 и в 9.6. А так же, какие новые возможности, нам хотелось бы увидеть в новых релизах PostgreSQL.
Слайды
Видео
Другие доклады
-
45 мин
.JPG.180x180.jpg "Radoslav Glinsky")
Radoslav Glinsky Skype (Microsoft) Software developer - PostgreSQL toolingТестовая среда по требованию
Вы тестируете свои релизы PostgreSQL в специально настроенной тестовой среде, прежде чем залить их в продакшен? Вы уверены, что ваша тестовая среда соответствует требованиям продуктовой среды и находится в актуальном состоянии?
В компании Skype мы сталкиваемся c разнообразными проблемами, связанными с тестированием баз данных: - Обобщение и отражение в тестовой среде всего многообразия вариантов продуктовой среды для тысяч реализаций PostgreSQL, связанных с удаленным вызовом процедур (RPC) и репликациями, серверной инфраструктурой, а также внешними скриптами БД. - Постоянно растущие требования к поддержке новых аппаратных средств, недостаточная очистка тестовых данных. - Различия между тестовой и продуктовой средой со временем накапливались.
-
45 мин
Алексей Лесовский PostgreSQL Consulting LLC Администратор баз данныхПоиск и устранение проблем при эксплуатации потоковой репликации
Потоковая репликация появилась в PostgreSQL в 2010 году и практически сразу же стала очень популярной. В настоящее время практически ни одна инсталляция не обходится без использования потоковой репликации. Она надежна, высокопроизводительна и легка в настройке. Однако несмотря на все свои положительные качества, в её эксплуатации могут возникать различные проблемы и неприятные ситуации. Для диагностики и решения проблем связанных с потоковой репликацией есть как встроенные в PostgreSQL средства так и сторонние утилиты. В этом докладе я сделаю обзор инструментов и расскажу как с помощью этих средств диагностировать и устранить проблемы связанные с потоковой репликацией. Также рассмотрю проблемы которые возникают чаще всего при эксплуатации потоковой репликации и методы их решения. Доклад будет полезен DBA и системным администраторам.
-
22 мин
Петр Грибанов 1С Технологический евангелистPostgreSQL в 1С:Предприятии и в облачной системе 1С:Fresh
"1С:Предприятие" - самая популярная в России/СНГ платформа разработки бизнес-приложений, которая уже более 10 лет поддерживает PostgreSQL. Фирма 1С использует PostgreSQL в своём облачном сервисе 1С:Fresh. В этом докладе мы поделимся опытом и наблюдениями, возникшими в ходе эксплуатации этого сервиса, и обсудим интересные случаи и особенности тандема 1С+Postgres.
-
45 мин
Илья Космодемьянский Data EgretВнутреннее устройство подсистемы ввода-вывода Linux для администраторов PostgreSQL
Вопросы производительность ввода-вывода всегда были на повестке дня DBA всё время, пока существуют базы данных. Объемы данных быстро растут и важно, чтобы чтение с диска, и особенно запись на него, оставалась быстрой.
Для большинства СУБД сравнительно легко найти готовый чеклист по рекомендуемым настройкам Linux для максимизации производительности ввода-вывода, и он, как правильно, действительно хорош. Однако всегда полезно понимать, как и почему эти настройки работают.
В этом докладе будет объяснено, как работает подсистема ввода-вывода в Linux, как страницы данных PostgreSQL попадают с диска в разделяемый буфер и обратно, и с помощью каких механизмов можно управлять этими процессами.