Ускоряясь до миллиона записей в секунду: масштабирование PostgreSQL с помощью Citus MX
Инструмент Citus позволяет распределять таблицы PostgreSQL между несколькими серверами. Расширяя возможности PostgreSQL в плане делегирования и распараллеливания задач между группой рабочих узлов, Citus позволяет горизонтально масштабировать CPU-ресурсы и память для выполнения запросов.
Год назад мы ступили на долгий путь реализации в Citus возможности горизонтального масштабирования в новом измерении - для повышения скорости записи. Так как все запросы на запись обрабатывались через один узел PostgreSQL, скорость записи в Citus ограничивалась CPU-ресурсами одного узла. Citus MX - это новая версия Citus, которая предоставляет доступ к распределенным таблицам с любого узла, обеспечивая повышение скорости записи до уровня NoSQL решений.
Слайды
Другие доклады
-
Alvaro Hernandez 8Kdata CTO
PostgreSQL и Java: мастер-класс
Java – один из наиболее популярных языков программирования для СУБД PostgreSQL. На этом мастер-классе вы узнаете основные способы соединения с postgres и лучшие методики программирования по стандарту JDBC, а также познакомитесь с jOOQ – менеджером памяти, позволяющим использовать все возможности SQL и postgres для построения сложных запросов, не используя при этом шаблонный код.
Мастер-класс будет носить практический характер: большую часть времени мы посвятим разбору примеров кода. Мы рассмотрим следующие темы:
- Введение в Java и PostgreSQL.
- Варианты соединения с PostgreSQL из Java-приложения (и не только с помощью JDBC!)
- Введение в JDBC. Типы JDBC. PostgreSQL JDBC
- Демонстрация кода: JDBC и PostgreSQL. От Java 1.4 к Java 8, лучшие практики и примеры кода.
- Демонстрация кода: jOOQ, менеджер памяти для PostgreSQL.
- Java в PostgreSQL.
- Будущее Java и PostgreSQL.
-
Сергей Мирвода ООО Октоника, УрФУ Ведущий программист, старший преподаватель
Аналитика в сёла! Опыт внедрения BI системы, функционирующей на ограниченном или разделяемом железе
Опыт разработки с нуля, внедрения и развития BI системы http://colibri365.ru для анализа данных в государственных органах. Современные реалии в муниципалитетах РФ, как мы с этим живём. Выжимание производительности из постгреса, использование новейших функций, переписывание запросов, чтобы оптимизатору было проще и другие особенности нашей системы. Приведшие к написанию 4 научных статей и 4 патчей к PG, подробнее о которых в докладах Андрея Бородина.
ВИДЕО
-
Олег Иванов Postgres Professional Разработчик
Адаптивная оптимизация запросов в PostgreSQL
Оптимизация запросов является важной задачей, решение которой существенно влияет на производительность СУБД, особенно при выполнении сложных запросов. В докладе будет рассмотрен оптимизатор запросов PostgreSQL, и, в частности, задача определения мощности вершины с зависимыми условиями, которая является одной из самых известных проблем стоимостных оптимизаторов. Предлагается решение этой проблемы, использующее методы машинного обучения и доступное в виде расширения с патчем для PostgreSQL 9.6. В докладе приводятся результаты экспериментального исследования предложенного решения, обсуждаются его плюсы и минусы, а также область применимости.
ВИДЕО
-
Дмитрий Белобородов UIS, CoMagic Технический директор
Опыт использования PostgreSQL в проектах UIS, CoMagic
Мы используем PostgreSQL с 2003 года и прошли путь от базы в пару гигабайт до кластера с текущим размером более 5Тб. Текущие кол-во таблиц > 700, число хранимых процедур ~1500. Чем готовы поделиться: - рассказать о проблемах, с которыми пришлось сталкиваться на разных этапах развития и найденными решениями - наработанными практиками администрирования - мы работаем с несколькими базами, которые тесно связаны друг с другом, используем для этого свое расширение - у нас работает несколько команд, и есть выработанная методика и инструменты, которые позволяют им не мешать друг другу - мы используем много различных стендов для тестирования, готовы рассказать по какому принципу и как мы их поднимаем - ну, и конечно, про оптимизацию, поиск узких мест и ситуаций, с которыми нам приходится сталкиваться при нагрузках
ВИДЕО