Опыт использования PostgreSQL в проектах UIS, CoMagic
Мы используем PostgreSQL с 2003 года и прошли путь от базы в пару гигабайт до кластера с текущим размером более 5Тб. Текущие кол-во таблиц > 700, число хранимых процедур ~1500. Чем готовы поделиться: - рассказать о проблемах, с которыми пришлось сталкиваться на разных этапах развития и найденными решениями - наработанными практиками администрирования - мы работаем с несколькими базами, которые тесно связаны друг с другом, используем для этого свое расширение - у нас работает несколько команд, и есть выработанная методика и инструменты, которые позволяют им не мешать друг другу - мы используем много различных стендов для тестирования, готовы рассказать по какому принципу и как мы их поднимаем - ну, и конечно, про оптимизацию, поиск узких мест и ситуаций, с которыми нам приходится сталкиваться при нагрузках
ВИДЕО
Слайды
Другие доклады
-
90 мин
Егор Рогов Postgres Professional экспертProBackup: быстро, надежно, инкрементально
Современное состояние средств резервного копирования для PostgreSQL определенно оставляет простор для улучшений. Штатные средства дают исключительно базовую функциональность, сторонние инструменты решают некоторые, но не все, проблемы. Для того, чтобы резервная копия была надежной, могла выполняться быстро и инкрементально на уровне страниц, нужна в том числе и поддержка со стороны базы данных. На мастер-классе мы расскажем про новый инструмент резервного копирования и восстановления ProBackup, который мы разрабатываем в нашей компании, и покажем его в действии.
Скрипт демонстрации:
ФОТО:
-
22 мин
Антон Сикерин ООО "Транспортная интеграция" Специалист по транспортному планированию, Инженер-программистPostgreSQL в задачах транспортной аналитики при проектировании мастер-плана для ЧМ-2018 в Екатеринбурге
1) О Чемпионате мира по футболу 2018 и поставленных задачах; 2) Инструментарий отдела моделирования и аналитики; 3) Аналитика пассажиропотоков аэропорта Кольцово и железнодорожного транспорта дальнего и ближнего сообщения (Яндекс.Расписания); 4) Анализ населенности и занятости населения (2ГИС); 5) Прокладка маршрутов клиентских групп с автоматическим выводом метаинформации и сборка отчетных материалов (PostgreSQL + QGIS + Python + LaTeX); 6) Развертывание карт-сервера для предоставления доступа к маршрутам заказчику (Ubuntu + PostGIS + QGIS-Web-Client)
ВИДЕО
-
45 мин
Alvaro Hernandez 8Kdata CTOМиграция с MongoDB на PostgreSQL
MongoDB – популярная NoSQL CУБД, используемая в основном для работы с OLTP системами. Но из-за отсутствия требований ACID (в частности, транзакций как таковых), а также серьезных проблем с производительностью при работе с OLAP/DW нагрузками, все больше пользователей MongoDB рассматривают возможность перехода на реляционные СУБД, выбирая зачастую именно PostgreSQL. Это открывает перед сообществом PostgreSQL большие возможности по “обращению” пользователей из NoSQL в SQL. В этом докладе мы расскажем о сложностях, с которыми сталкиваются пользователи MongoDB, и представим соверменные инструменты и open-source решения, с помощью которых можно осуществить миграцию на PostgreSQL в режиме реального времени или через процесс ETL. В частности, мы обсудим ToroDB Stampede – open-source решение, которое создает реплику MongoDB в режиме реального времени, конвертирует документы JSON в реляционные таблицы и сохраняет данные в PostgreSQL.
ВИДЕО
-
22 мин
Алексей Мергасов НОКСА Дата Лаб Директор по разработкеЭффективная работа с 10+ ПБ данных в PostgreSQL или новая парадигма построения "бережливых" инфраструктур данных для Data-Driven Enterprise
Алексей расскажет о технических деталях и опыте применения подхода экстремальной нормализации данных для создания инфраструктур данных с уникальными потребительскими характеристиками. В сравнении с решениями лидеров рынка такие инфраструктуры обладают, например, такими преимуществами, как: - оперативная обработка 10 ПБ данных и больше, - в 2-6 раз более высокая производительность, - сквозная 100% консистентность данных, - практически линейная горизонтальная масштабируемость, - в 4-10 более низкая стоимость владения, - и т. д. Изложенный подход уже нашел применение за пределами России в решениях для операторов связи, ритейла, финтеха, современном производстве (Industry 4.0, индустриальный IoT), в государственном секторе.
ВИДЕО