Ru En
Личный кабинет

Программа PgConf.Russia 2017

Расписание конференции

 Скачать предварительную программу конференции

Мастер-классы

Круглые столы

Государственная политика в области импортозамещения

Будущее ИТ-образования

Доклады

Скала-СР / Postgres Pro — предконфигурированные высокопроизводительные машины баз данных

Игорь Анатольевич Ведёхин
IBS

Образование: В 1998 году окончил экономический факультет Московского государственного строительного университета (ранее МИСИ) по специальности «инженер-экономист» (кафедра «Управление проектами»). Профессиональная деятельность: Работает в IBS с 2001 года. В 2013 году стал заместителем генерального директора и возглавил дивизион «ИТ-инфраструктура», который объединяет практику компании в сфере решений для функционирования и развития информационной среды организации, а также в сфере информационной безопасности.

Машины баз данных — представители «высшего света» в мире корпоративных ИТ; Teradata, Exadata, Netezza — не смотря на то, что в их основе вполне доступные серверные узлы архитектуры x86 — о них говорят и пишут как о hi-end-системах, на что есть определённые основания. Объективно машины баз данных востребованы многими корпоративными заказчиками, как за уникальные возможности, так и за те удобства, которые дают готовые предконфигурированные комплексы.

Консорциум в составе системного интегратора IBS, выполнившего немало проектов по внедрению различных машин баз данных, российского вендора PostgreSQL Postgres Professional и израильской компании-разработчика суперкомпьютерных сетевых решений Mellanox представил машины баз данных в различных конфигурациях для PostgreSQL под управлением СУБД Postgres Pro Enterprise.

История Postgres

Питер ван Харденберг
Ink and Switch

Питер ван Харденберг - один из основателей команды Heroku Postgres, занимающейся развитием облачной платформы на СУБД PostgreSQL для высокопроизводительных приложений. Спектр созданных им продуктов и систем охватывает диапазон от программ сбора исследовательских данных на шельфе в Северном Ледовитом океане до написания движков физической эмуляции для игр на консоли 3DS от Nintendo. Питер родился в Канаде, но живет в Сан-Франциско с семьей.

Сообществу PostgreSQL уже более 20 лет, но история PostgreSQL началась задолго до его основания. Из этого доклада вы узнаете об истоках проекта Postgres, о людях, которые развивали его, как он изменился со временем и какое место в развитии PostgreSQL занимает российское сообщество.

Пул соединений в масштабе

Владимир Бородин
Яндекс

Системный администратор группы эксплуатации систем хранения данных в Яндекс.Почте. Пришёл в Яндекс в 2012 году, выпускник КИТа. Занимается всем, что связано с хранением данных, в последнее время - метаданных.

Многие знают, что соединения в PostgreSQL дорогие, а потому их надо экономить. Для решения этой задачи давно есть PgPool-II и PgBouncer. В Яндексе никого не удивить десятками тысяч соединений к одной базе и с незапамятных времён мы используем pgbouncer. В этом докладе я расскажу о проблемах, с которыми мы сталкивались, и способах их решения.

Миграция с MongoDB на PostgreSQL

Альваро Эрнандес
8Kdata

IT-предприниматель (Мадрид, Испания). Основатель и генеральный директор компании 8Kdata (www.8kdata.com), специализирующейся на разработке БД. Основной разработкой является проект ToroDB (www.torodb.com) – первая БД, комбинирующая реляционную и нереляционную (NoSQL) модели, которая совместима с MongoDB и может быть запущена поверх PostgreSQL. Разработчик-энтузиаст, активный участник open-source проектов. Java-разработчик, член группы JavaSpecialists.eu и вместе с тем DBA, консультант и частый докладчик на международных конференциях по вопросам БД. Основатель испанского сообщества PostgreSQL (www.postgrespaña.es), одного из крупнейших в мире, которое объединяет более 700 человек.

MongoDB – популярная NoSQL CУБД, используемая в основном для работы с OLTP системами. Но из-за отсутствия требований ACID (в частности, транзакций как таковых), а также серьезных проблем с производительностью при работе с OLAP/DW нагрузками, все больше пользователей MongoDB рассматривают возможность перехода на реляционные СУБД, выбирая зачастую именно PostgreSQL. Это открывает перед сообществом PostgreSQL большие возможности по “обращению” пользователей из NoSQL в SQL. В этом докладе мы расскажем о сложностях, с которыми сталкиваются пользователи MongoDB, и представим соверменные инструменты и open-source решения, с помощью которых можно осуществить миграцию на PostgreSQL в режиме реального времени или через процесс ETL. В частности, мы обсудим ToroDB Stampede – open-source решение, которое создает реплику MongoDB в режиме реального времени, конвертирует документы JSON в реляционные таблицы и сохраняет данные в PostgreSQL.

RUM-индексы и их применение

Александр Евгеньевич Коротков
Postgres Professional

Александр имеет статус PostgreSQL Major Contributor. В 2008 г. окончил МИФИ с красным дипломом. Защитил кандидатскую диссертацию, основанную на своём вкладе в развитие PostgreSQL, а именно на улучшениях в нечётком поиске строк, включая индексный поиск по регулярным выражениям. Одним из крупнейших достижений Александра в работе для open source сообщества является инфраструктура расширяемости индексных методов доступа. Также его вклад включает в себя улучшения для GiST и GIN индексов, оптимизации для многоядерных архитектур, статистику и оценку селективности. Александр был ментором в программе GSoC 3 раза.

Я представлю новый метод доступа, который расширяет имеющиеся возможности GIN-индексов, используя дополнительную информацию, хранящуюся в списке/дереве идентификаторов. Например, дополнительная информация о позициях позволяет новому методу доступа возвращать результаты по релевантности, что может значительно сократить время исполнения полнотекстовых запросов. Это также может ускорить фразовый поиск, так что данный метод будет весьма эффективным при полнотекстовом поиске. Сохранение временных меток открывает перед нами несколько интересных возможностей – мы можем отсортировать результаты по времени (например, свежие статьи, удовлетворяющие полнотекстовому запросу) на основе временных меток как таковых или сохраненных указателей, упорядоченных по временным меткам. Оба способа обеспечивают на порядок большее ускорение для таких типов запросов.

Поиск и устранение проблем при эксплуатации потоковой репликации

Алексей Викторович Лесовский
Data Egret

В настоящее время я PostgreSQL DBA. Более 10 лет я работаю в сфере ИТ, где большая часть времени это серверное администрирование Linux и использование KVM виртуализации. Последние 5 лет акцент интересов сместился в сторону эксплуатации баз данных и PostgreSQL в частности. На данный момент я работаю в консалтинговой компании в качестве PostgreSQL DBA, где каждый день сталкиваюсь с PostgreSQL и тем как его интересно эксплуатируют люди. В свободное рабочее время в качестве маленьких хобби программирую на pure C и пишу плэйбуки для Ansible.

Потоковая репликация появилась в PostgreSQL в 2010 году и практически сразу же стала очень популярной. В настоящее время практически ни одна инсталляция не обходится без использования потоковой репликации. Она надежна, высокопроизводительна и легка в настройке. Однако несмотря на все свои положительные качества, в её эксплуатации могут возникать различные проблемы и неприятные ситуации. Для диагностики и решения проблем связанных с потоковой репликацией есть как встроенные в PostgreSQL средства так и сторонние утилиты. В этом докладе я сделаю обзор инструментов и расскажу как с помощью этих средств диагностировать и устранить проблемы связанные с потоковой репликацией. Также рассмотрю проблемы которые возникают чаще всего при эксплуатации потоковой репликации и методы их решения. Доклад будет полезен DBA и системным администраторам.

Введение в PostgreSQL для Oracle DBA

Aleš Zelený
Česká spořitelna a.s.

Алесь начал знакомство с базами данных в 1996 году с Borland Interbase. Затем на основе версии с открытым кодом СУБД Firebird занимался разработкой базы данных и приложения для Открытого каталога общего доступа Муниципальной библиотеки в Праге. С 2000 года по настоящее время Алесь работает в чешском сберегательном банке, информационная система которого была основана на Oracle 7.3 - 12c. В 2012 году после Дня Разработчиков PostgreSQL в Праге он всерьез увлекся СУБД PostgreSQL, и в 2013 году начал использовать PostgreSQL для операционной деятельности наравне с Oracle и SQL Server.

Этот доклад будет интересен как Oracle DBA, рассматривающим PostgreSQL как альтернативную реляционную СУБД в своем портфолио, так и PostgreSQL DBA, которые хотят сравнить Oracle и PostgreSQL. Этот доклад не является руководством по миграции или призывом использовать ту или иную платформу. Мы сравним общую структуру обеих платформ с точки зрения конфигурирования памяти, логические структуры данных и их физическое представление, затронем некоторые вопросы безопасности, а также рассмотрим имеющиеся инструменты резервного копирования и восстановления данных.

Встроенный шардинг: текущее состояние и будущее

Masahiko Sawada
NTT OSS Center

Масахико Савада занимается разработкой и техподдержкой постгреса в японской компании NTT. Его основные интересы лежат в области транзакций, репликации, кроме того он занимается ревью патчей.

Шардингом базы данных называют распределение данных по большому количеству серверов для повышения производительности при работе с большими объемами данных. С появлением технологии Foreign Data Wrappers (FDW), стало возможным рассматривать шардинг в постгресе при разумном объеме изменений программного кода. Я занимаюсь улучшением инфраструктуры FDW, в т.ч. наследованием внешних таблиц и push-down запросов, что позволяет постгресу эффективно исполнять распределенные запросы через FDW. В этом докладе мы рассмотрим шардинг на FDW и его сценарии использования, затем я продемонстрирую, как организовать шардинг, и покажу, что для этого было сделано в постгресе. В заключение мы рассмотрим основные планы на будущее - в первую очередь, это асинхронное исполнение запросов и поддержка распределенных транзакций.

Как Tenсent использует Postgres XC в платежной системе WeChat

Jasonysli
Tencent

Jasonysli из крупнейшей китайской интернет-компании Tencent, в которой занимает должность главного архитектора PostgreSQL в облачном сервисе Tencent и руководит командой постгресистов, состоящей из нескольких опытных разработчиков. Ранее (2009-2013) занимался разработкой форка PostgreSQL в компании Huawei. C 2014 г. работает в Tencent с Postrges XC, разрабатывая его собственную версию. Его команда сейчас эксплуатирует крупнейший кластер Postgres XC в мире, состоящий из 29 узлов данных и 6 координаторов.

Китайская компания Tencent - одна из крупнейших в мире компаний в области социальных сетей. В этом докладе рассматривается, как Tencent изменила программный код Postgres XC, чтобы удовлетворить требованиям своей платежной системы

Отказоустойчивый PostgreSQL кластер с Patroni

Александр Михайлович Кукушкин
Zalando SE

Александр один из ключевых разработчиков Patroni. В Zalando Александр занимается задачами создания и обслуживания сотен кластеров PostgreSQL размерами от нескольких мегабайт до 10 терабайт.

В современном мире всё больше и больше IT компаний отказываются от традиционных способов хостинга и переносят свои ресурсы в облачные сервисы. Zalando не стала исключением. Взрывной рост компании и переход к модели микросервисов потребовал внести изменения в процесс деплоймента новых инстансов баз данных и решить проблему автоматического переключения в случае выхода мастера из строя. Большинство существующих решений для автоматического переключения требуют предварительной ручной настройки каждого узла до запуска кластера. Такой подход определенно неприемлем в облаках, где ты заранее не знаешь IP адресов всех узлов.

Секционирование с pg_pathman

Ильдар Рафкатович Мусин
Postgres Professional

Закончил Уфимский Государственный Авиационный Технический Университет по специальности математик-программист. Занимался разработкой автоматизации систем микрофинансирования, систем управления документами предприятия. С 2015 года работает в компании Postgres Professional, занимается разработкой функционала секционирования в PostgreSQL, является разработчиком и соавтором расширения pg_pathman для СУБД PostgreSQL.

Дмитрий Олегович Иванов
Postgres Professional

Сотрудник компании Postgres Professional. Занимается разработкой pg_pathman - расширения для PostgreSQL / Postgres Pro, обеспечивающего поддержку быстрого и эффективного секционирования таблиц.

Секционирование в PostgreSQL - давно ожидаемый функционал. И хотя в Postgres возможно реализовать секционирование через наследование, такой подход имеет ряд недостатков, таких как необходимость вручную создавать секции и поддерживать триггеры, значительные накладные расходы на планирование и отсутствие оптимизаций времени выполнения. В докладе мы расскажем про расширение pg_pathman, над которым мы работаем. pg_pathman поддерживает HASH и RANGE секционирование и выполняет оптимизации на этапах планирования и исполнения, поддерживает быструю вставку за счет отказа от триггеров в пользу Custom Node, содержит функции для управления секциями (add, split, merge и др.), поддерживает FDW, неблокирующую миграцию данных и другие возможности. Мы также расскажем об интеграции pg_pathman в PostgresPro Enterprise Edition и поддержку Oracle-подобного синтаксиса для секционирования. В завершение мы расскажем о новых возможностях секционирования в PostgreSQL 10, что реализовано и пути дальнейшего развития.

Отчуждаемые таблицы в PostgresPro

Иван Анатольевич Фролков
Postgres Professional

Профессиональный программист. Начал карьеру еще в 1993 году. Успел застать PL/I, COBOL и ваучерную приватизацию (как разработчик). В дальнейшем занимался преимущественно вебом и бизнес-приложениями. Основные интересы — СУБД и системы передачи сообщений.

Большие потоки данных нередко могут создавать проблемы даже с самой их загрузкой в БД - кроме загрузки собственно данных необходимо создавать для них индексы, проводить после загрузки VACUUM как для корректной работы Index-only scans и т.п. О том, как можно если не избежать этих проблем, то, по крайней мере, в значительной степени избежать их и посвящен этот доклад.

Автоматизация перехода в PostgreSQL с других баз данных

Дмитрий Валерьевич Суша
ООО Испаер Системс

Выпускник механико-математического факультета Белорусского государственного университета. Руководит отделом по миграции и модернизации баз данных в компании Ispirer Systems, где работает уже более 9 лет. Компания успешно осуществляет проекты по миграции и модернизации баз данных и приложений с 1999 года. Уникальный продукт по автоматической миграции Ispirer MnMTK позволяет быстро и эффективно осуществлять переход между всеми распространенными платформами. Миграция в PostgreSQL является одним из приоритетных направлений.

В докладе будет освещена автоматизация перехода в PostgreSQL c других баз данных с помощью Ispirer Migration and Modernization Toolkit. Будут затронуты вопросы миграции данных и SQL кода, конвертации клиентских приложений, встроенного SQL и API баз данных, рассмотрены примеры осуществлённых проектов по миграции из Oracle в PostgreSQL и из Microsoft SQL Server в PostgreSQL.

Построение высокопроизводительных горизонтально-масштабируемых СУБД

Михаил Каган
Mellanox Technologies

Михаил Каган является со-основателем и CTO компании Mellanox Technologies. До Mellanox, с 1983 по 1999г. Михаил Каган занимал ключевые должности в отделах проектирования и разработки в корпорации Intel. Во время работы в Intel он отвечал за проектирование процессора Pentium MMX, а впоследствии управлял командой по разработке архитектур Basic PC. Михаил Каган получил степень бакалавра по специальности «Электротехника» в институте Технион в Израиле.

Современным высокопроизводительным и горизонтально-масштабируемым СУБД в ходе своей работы требуется перемещать огромные объемы данных между компонентами системы. Справляться с этой задачей они должны быстро и без задержек для пользователей. Именно на высочайшей пропускной способности, ультранизких задержках, а также разгрузке CPU от сетевых задач фокусируется компания Mellanox при разработке своих технологий интерконнекта. В своем докладе Михаил расскажет какую роль быстрая сетевая инфраструктура играет в системах СУБД и Big Data, а также поделится опытом компании Mellanox по построению таких систем совместного с ведущими мировыми производителями.

Интерконнект на стероидах для машины баз данных Скала-СР / Postgres Pro

Андрей Владимирович Николаенко
IBS

Архитектор в IBS, в последнее время работаю над проектированием серийных инфраструктурных и платформенных комплексов на базе российского оборудования и программного обеспечения. Ранее внедрял приложения для энергетики в корпорации Oracle, руководил разработческим подразделением в CBOSS — итого, без малого, 20 лет опыта разработки и внедрения крупных IТ-систем для сектора государственного управления, энергетики, телекоммуникаций.

Александр Евгеньевич Коротков
Postgres Professional

Александр имеет статус PostgreSQL Major Contributor. В 2008 г. окончил МИФИ с красным дипломом. Защитил кандидатскую диссертацию, основанную на своём вкладе в развитие PostgreSQL, а именно на улучшениях в нечётком поиске строк, включая индексный поиск по регулярным выражениям. Одним из крупнейших достижений Александра в работе для open source сообщества является инфраструктура расширяемости индексных методов доступа. Также его вклад включает в себя улучшения для GiST и GIN индексов, оптимизации для многоядерных архитектур, статистику и оценку селективности. Александр был ментором в программе GSoC 3 раза.

Борис Нейман
Mellanox

В машинах баз данных от Oracle и Teradata в качестве внутренней сети применяется Infiniband, и для его использования вендорами созданы проприетарные протоколы (iDB, BYNET). Для комплексов Скала-СР / Postgres Pro применен интерконнект на базе Ethernet со всеми свойствами, присущими Infiniband — субмикросекундными задержками, стагигабитной пропускной способностью, и, главное, поддержкой RDMA — протокола прямого доступа к оперативной памяти удалённых узлов с разгрузкой центральных процессоров от транспортных операций. Специально для поддержки этих возможностей в машинах баз данных в Postgres Professional разработали программные дополнения, обеспечивающие доставку журналов упреждающей записи и координацию транзакций по RDMA, им и будет посвящена основная часть доклада. Кроме того, в докладе будут представлены конфигурации, основные технические характеристики и результаты испытаний комплексов линейки Скала-СР / Postgres Pro.

Эксплуатация 1С на Postgres

Григорий Смолкин
Postgres Professional

Поиск проблемного кода 1С на СУБД PostgreSQL

Дмитрий Мирчевич Юхтимовский
Gilev.ru

Руководитель технической поддержки команды gilev.ru, преподаватель уникального курса по производительности 1С:Предприятия для системных администраторов. Занимается высоконагруженными 1С-проектами (~ 3000-5000 пользователей в одной базе данных). Успешно реализовывал проекты ЦКТП совместно с фирмой 1С. В настоящее время занимается переводом онлайн-инструментов на Postgres Pro с MS SQL Server.

  1. Особенности взаимодействия 1С:Предприятие 8 и PostgreSQL 9 1.1 Изменения в редакциях платформы 1С 1.2 Схемы v81c_data и v81c_index 1.3 Трансляция запросов 1С в SQL 1.4 События технологического журнала 1С для диагностики PostgreSQL
  2. Анализ запросов, вызывающих проблемы производительности в PostgreSQL 2.1 Бесплатный инструмент для автоматизации разбора логов 2.2 Правило Парето на практике 2.3 Установка и настройка инструмента 2.4 Практический пример оптимизации запроса 2.4.1 Проблема в запросе PostgreSQL 2.4.2 Выяснение нерациональных операций в запросе 2.4.3 Способы устранения неоптимальностей
  3. Статистка PostgreSQL для диагностики производительности 3.1 Сравнение с возможностями MS SQL Server, различия 3.2 Диагностика блокировок 3.3 Диагностика рабочей нагрузки 4 Примеры из практики команды gilev.ru

Postgres как основа BI платформы, особенности, практический опыт

Андрей Сергеевич Фефелов
mastery.pro

Занимается базами данных с 2006, начинал с Oracle, потом влюбился в Postgres. Руководил группами разработки в pulscen.ru, blizko.ru. Сейчас помогает ведущему ирландскому поставщику фармы построить Business intelligence платформу на основе Postgresql для анализа всяких прикольных штук.

В докладе я расскажу почему Postgres отлично подходит как BI платформа для решения классических OLAP-задач.

Будет дан краткий обзор доступных open source BI решений. Расскажу об архитектуре нашего решения (snowflake scheme), как мы делаем Extract Load Transform, настройках Postgres для специфических профилей нагрузки. Также упомяну о том, как мы пытались использовать Postgres в виде колоночной базы данных (cstore_fdw от Citus) и что из этого вышло. В конце доклада кратко расскажу про минусы и проблемы нашего подхода.

Очень большие таблицы в PostgreSQL. Или как превратить 60+ Tb в 10+ Tb

Вадим Александрович Яценко
ООО Прогресс Софт

Мое знакомство с PostgreSQL произошло в 2008 году. С 2011 года занимаюсь разработкой СУБД на PostgreSQL. В данный момент являюсь начальником Отдела систем хранения данных в компании "Прогресс Софт". Наша специализация - разработка больших высоконагруженных проектов, с использованием PostgreSQL в качестве основной СУБД.

В докладе будет рассказано о том, как мы реализовали хранение таблиц с большим количеством строк (1 млрд + строк в сутки). Проект существует в production 2 год. Это крупный транспортный проект всероссийского масштаба.

Суммарный объем данных 300 Tb на 25 серверах PostgreSQL * 2 Data Center. Будет рассказано об ошибках организации хранения больших таблиц на начальном этапе проекта, и о том как эти ошибки были устранены. Так же расскажу о том, как организована ротация данных и архивирование. Затрону вопросы о том, чего нам не хватало в PostgreSQL 9.4 из того, что появилось в 9.5 и в 9.6. А так же, какие новые возможности, нам хотелось бы увидеть в новых релизах PostgreSQL.

Оптимизация PostgreSQL для реальных промышленных систем

Roland Sonnenschein
Hesotech GmbH

Разработчик решений PostgreSQL для документирования и контроля технических процессов с более чем 25-летним стажем. В настоящее время принимает участие в разработке проекта "Industry 4.0" и оптической системы детекции лавин.

Зачастую по требованию клиента или даже закона необходимо документировать специфику производства продукта в целом и его частей. Этот доклад посвящен теме автоматической генерации и хранения соответствующей административной информации. К административной информации относятся такие данные как номер поставки, артикул, серийный номер, дата изготовления. Такие данные часто обмениваются с ERP-системами.

Разработку таких приложений можно значительно упростить, если использовать NoSQL-функциональность PostgreSQL, особенно json и jsonb.

PostgreSQL - реальная альтернатива для высоконагруженных систем на базе 1С

Антон Алексеевич Дорошкевич
ИнфоСофт

Руководитель ИТ-отдела компании Инфософт, г. Новосибирск. 12 лет работает в сфере настройки инфраструктуры, серверов 1С и баз данных для 1С. Последние 4 года продвигает оптимизацию 1С в Сибири и Дальнем Востоке. С 2015 года активно пропагандирует переход на PostgreSQL в мире 1С и осуществил несколько крупных проектов.

  1. Почему сейчас самое время задуматься о переходе на PostgreSQL.
  2. Готовность 1С и PostgreSQL работать друг с другом.
  3. Почему нужно начать с Windows
  4. Первый опыт перевода достаточно больших баз 1С на Postgre.
  5. Масштабные проекты на высоконагруженных системах, примеры в цифрах
  6. На что обратить внимание в коде 1С? Результаты оптимизации кода в обработке «Печать ценников и этикеток».

Архитектура платформы баз данных и опыт администрирования PostgreSQL в Skype

Алексей Плотников
Skype

C 2010 года я работаю в DBA команде компании Skype, администрирую и разрабатываю платформу баз данных на основе PostgreSQL. В основном занимаюсь вопросами в областях высокой доступности, безопасности и производительности баз данных.

Большинство из основных сервисов компании Skype использует платформу баз данных, построенную на основе PostgreSQL и других open-source технологиях, таких как Skytools, plProxy, pgBouncer и других. Эта платформа состоит из нескольких сотен серверов с тысячами баз данных, которые обрабатывают сотни тысяч транзакций в секунду. При этом архитектура платформы позволяет ее пользователям (приложениям и их разработчикам) работать с "логическими" базами данных, не беспокоясь об их реальной "физической" структуре.

Наша команда Skype Database Platform занимается инфраструктурой платформы баз данных и создает системы автоматизации различных процессов, необходимые для упрощения обеспечения надежной работы сервисов, а также разработки, тестирования и развертывания кода. В своей презентации я опишу общую архитектуру платформы баз данных, сделаю обзор ее главных компонентов, а также расскажу про методы, которые мы используем в своей повседневной работе, решая проблемы в области высокой доступности, масштабирования, репликации, бесперебойного обслуживания и многих других.

Движущиеся цели в PostGIS

Дорофей Пролесковский
Juno

Дорофей специализируется на OpenStreetMap и открытых ГИС-платформах. Является членом Минской группы пользователей Linux, членом OpenStreetMap Foundation. С 2008 года работает в проекте OpenStreetMap. Занимался рендерингом, участвовал в разработке MapCSS - одного из основных языков для описания стилей OpenStreetMap, а также нескольких его имплементаций, применявшихся в maps.me и kosomsnimki.ru. Разрабатывал решения для геолокации по беспроводным сетям. Делал генератор административного деления в альтернативной реальности для проекта "Глобальная Карта 2.0". Умеет провоцировать и обходить большое количество проблем, связанных с робастностью вычислений в PostGIS. Сейчас работает старшим GIS-инженером в Juno.

Для хранения и обработки пространственных данных в Postgres существует расширение PostGIS. В нём обычно рассматривается обычная Евклидова плоскость без времени и неопределённости, но реальный мир зачастую сложнее. Посмотрим, как можно сделать так, чтобы тысячи машинок плавно ездили по карте OpenStreetMap в реальном времени с помощью Postgres.

Восход PostgreSQL на Эльбрус

Игорь Евгеньевич Чижевский
ФГБУ НИИ "Восход"

В 2008 году Национальный исследовательский ядерный Университет МИФИ, кафедру информатики и процессов управления. С 2006 года работаю в ФГУП (ФГБУ) НИИ "Восход" над Государственной системой изготовления, оформления и контроля паспортно-визовых документов нового поколения (ГС ПВДНП), ставшей впоследствии государственной системой миграционного и регистрационного учёта (ГС МИР). Участвовал в большинстве стадий создания и развития системы - начиная с первых выпусков паспортов до импортозамещения. В настоящее время занимаюсь архитектурой Системы и её развитием.

Дмитрий Алексеевич Погибенко
ФГБУ "НИИ Восход"

В 2010 году закончил Казанский национальный исследовательский технический университет имени А.Н. Туполева, кафедру систем информационной безопасности. Разработывал информационные системы для торговых сетей, системы контроля доступа и проверки билетов на спортивных объектах, электронные платежных решения, принимал участие в проекте УЭК. С 2015 года работаю в НИИ "Восход". В настоящее время занимаюсь системой миграции БД (на базе Spring Batch) для перевода БД ГС МИР с DB2 на PostgreSQLв рамках импортозамещения.

Станислав Николаевич Мерзляков
ФГБУ НИИ "Восход"

В 2006 году закончил Московский Физико-Технический Институт (Государственный Университет). С 2005 года работаю в ФГУП (ФГБУ) НИИ "Восход" над Государственной системой изготовления, оформления и контроля паспортно-визовых документов нового поколения. Участвовал во всех стадиях развития системы - начиная с создания первых макетов до промышленной эксплуатации. Занимаюсь в том числе, обновлением стека используемых в ПВДНП технологий для поддержания системы на современном уровне. В настоящее время работаю над выявлением узких мест приложения для успешного перевода системы на Эльбрусы.

Сергей Дмитриевич Королев
МЦСТ

В 2013 году закончил Национальный исследовательский ядерный Университет МИФИ, кафедру «Вычислительные машины, комплексы, системы и сети». В этом же году поступил на работу в «МЦСТ», где стал заниматься разработкой дистрибутивов для вычислительных комплексов «Эльбрус».

Илья Космодемьянский
Data Egret

Илья Космодемьянский — эксперт компании Data Erget, специалист по базам данных PostgreSQL, DB2, Oracle. Область профессиональных интересов — транзакционная обработка данных, построение отказоустойчивых производительных хранилищ. Уделяет много внимания популяризации PostgreSQL как технологии среди русскоговорящей аудитории. Регулярно проводит лекции и семинары об эффективном использовании возможностей PostgreSQL в высокопроизводительном вебе, телекоме и смежных областях.

Иван Владимирович Богданов
НИИ "Восход"

В 2009 году закончил Московский государственный институт радиотехники, электроники и автоматики (технический университет) по специальности «Вычислительные машины, комплексы, системы и сети». С 2010 года работаю в ФГБУ НИИ "Восход" над Государственной системой изготовления, оформления и контроля паспортно-визовых документов нового поколения (ГС ПВДНП).

Тотальное импортозамещение: не только Эльбрусы, но только хардкор. Практический опыт использования PostgreSQL на отечественном оборудовании в одной из важных государственных информационных систем.

В докладе будет рассказано о практике применение отечественного оборудования и свободного ПО, включая PostgreSQL, для миграции центра обработки данных государственной информационной системы, использовавшей оборудования и ПО IBM. Будет рассказано о применённом подходе и технологиях миграции БД “наживую” без останова работы Системы с IBM DB2 на PostgreSQL, о оптимизациях PostgreSQL для использования на процессорах Эльбрус, о практическом опыте эксплуатации cистемы.

Тестовая среда по требованию

Radoslav Glinsky
Skype (Microsoft)

Разработчик БД в компании Skype c 2011. В начале карьеры принимал участие в разработке и тестировании проектов Skype на базе PostgreSQL, связанных с данными о контактах, авторизацией и интеграцией. С 2013 г. работает в команде Database Platform, предоставляющей сервис "PostgreSQL как услуга" для внутренних нужд команд разработки Skype. В его сферу обязанностей входит автоматизация и разработка инструментария для внедрения БД, репликации, написание асинхронных скриптов для БД, а также разработка внутреннего хранилища данных.

Вы тестируете свои релизы PostgreSQL в специально настроенной тестовой среде, прежде чем залить их в продакшен? Вы уверены, что ваша тестовая среда соответствует требованиям продуктовой среды и находится в актуальном состоянии?

В компании Skype мы сталкиваемся c разнообразными проблемами, связанными с тестированием баз данных: - Обобщение и отражение в тестовой среде всего многообразия вариантов продуктовой среды для тысяч реализаций PostgreSQL, связанных с удаленным вызовом процедур (RPC) и репликациями, серверной инфраструктурой, а также внешними скриптами БД. - Постоянно растущие требования к поддержке новых аппаратных средств, недостаточная очистка тестовых данных. - Различия между тестовой и продуктовой средой со временем накапливались.

Криптография в реляционных СУБД

Дмитрий Михайлович Белявский
ТЦИ

Дмитрий Белявский, ведущий специалист Отдела Прикладных сервисов Технического Центра Интернет. Выпускник Московского Государственного Института Электроники и Математики. Более 20 лет работы в различных IT-компаниях. Последние 10 лет работает в сфере хостинга и регистрации доменов в крупных российских хостинг-провайдерах и регистраторах доменных имён. С 2010 года работает в ТЦИ, где занимается как разработкой ПО для регистраторов, так и аналитическими проектами. Принимал активное участие в программе New gTLD, в тестировании и запуске доменов верхнего уровня .TATAR и .ДЕТИ. Более 10 лет работает в сфере информационной безопасности, добавлял поддержку российской криптографии в ряд популярных библиотек и продуктов (OpenSSL, OpenVPN, XMLSec). Автор более 100 публикаций по различным аспектам информационной безопасности. Неоднократный докладчик российских и международных технических конференций и форумов на темы регистрации доменов, хостинга, работы инфраструктуры и информационной безопасности.

При работе с данными существует необходимость криптографической защиты некоторых данных. Презентация описывает некоторые задачи, которые можно решить с помощью криптографии, и правильные подходы к применению криптографии при разработке приложений, использующих СУБД. Отдельно рассказывается от последних результатах, достигнутых в части применения криптографии в PostgreSQL.

Миграция Системы документационного управления «Приоритет» с MS SQL на Postgres

Юрий Эдуардович Жуковец
Digital Design / Docsvision

Ведущий специалист компании Digital Design по Базам Данных и BI, а также высоконагруженным системам с обработкой данных большого объема. Последние 7 лет преимущественно занимается решениями документооборота для государственных структур и крупных коммерческих предприятий.

Доклад посвящён миграции Системы документационного управления «Приоритет» в рамках идеологии импортозамещения с MS SQL на Postres 9.5 и выше. Будут затронуты особенности архитектуры решения и сложности с которыми столкнулись при миграции T-SQL кода на pgsql и как они были решены.

Подробнее: https://pgconf.ru/news/94168

JSON в PostgreSQL: дорожная карта

Олег Сергеевич Бартунов
Postgres Professional

Олег Бартунов - наиболее известный российский ведущий разработчик PostgreSQL, которым он занимается уже более 20 лет. Им разработана поддержка русского и других языков, полнотекстовый поиск (при участии Ф.Сигаева и др.), поддержка слабоструктурированных данных (совместно с Ф.Сигаевым и А. Коротковым), новые типы индексов и многое другое.

В прошлом году был принят стандарт ISO/IEC 9075-2:2016, в котором наконец-то был стандартизирован синтаксис и семантика JSON и операций над ним в языке SQL. В докладе будет рассказано о требованиях этого стандарта и чем они отличаются от реализации JSON/JSONB в PostgreSQL, в частности, о JSON Path (аналог XPath для XML), о SQL/JSON функциях и о том, что мы планируем сделать в PostgreSQL для соответствия стандарту.

СУБД Greenplum Database с массивно-параллельной архитектурой (MPP)

Andreas Scherbaum
Pivotal

Андреас Шербаум работает с PostgreSQL с 1997 года. Вовлечен в несколько проектов сообщества PostgreSQL, член Совета директоров Европейской группы пользователей PostgreSQL, написал книгу о PostgreSQL на немецком языке. С 2011 года работал в EMC/Greenplum/Pivotal, где активно занимался очень большими базами данных.

Обзор архитектуры СУБД Greenplum Database (GPDB) с массивно-параллельной архитектурой (MPP). Из этого доклада вы узнаете о внутреннем устройстве GPDB, научитесь конфигурировать и настраивать GPDB, а также распределять данные для эффективной работы с MPP.

Адаптивная оптимизация запросов в PostgreSQL

Олег Юрьевич Иванов
Postgres Professional

Разработчик-исследователь в компании Postgres Professional. В школе был победителем олимпиад по информатике различного уровня. В 2016 году закончил бакалавриат ВМК МГУ им. Ломоносова с выпускной квалификационной работой по использованию машинного обучения для оптимизации запросов в СУБД.

Оптимизация запросов является важной задачей, решение которой существенно влияет на производительность СУБД, особенно при выполнении сложных запросов. В докладе будет рассмотрен оптимизатор запросов PostgreSQL, и, в частности, задача определения мощности вершины с зависимыми условиями, которая является одной из самых известных проблем стоимостных оптимизаторов. Предлагается решение этой проблемы, использующее методы машинного обучения и доступное в виде расширения с патчем для PostgreSQL 9.6. В докладе приводятся результаты экспериментального исследования предложенного решения, обсуждаются его плюсы и минусы, а также область применимости.

Два года профессионального постгреса

Иван Евгеньевич Панченко
Postgres Professional

В 1994 г. окончил физический факультет МГУ. Кандидат физико-математических наук (1997г). C 1996 года занимается разработкой сложных высокопроизводительных систем для бизнеса. Использует PostgreSQL с 1998 г. Руководил разработкой контентных проектов в Рамблере, был директором по разработкам в Стек Груп, техническим директором социальной сети Мой Мир. Разработчик Rambler Media, kassir.ru, портала ВШЭ и других интернет порталов и информационных систем для бизнеса.

Краткий рассказ о том, чего за 2 года работы добилась компания Postgres Professional.

  • наши достижения в разработке PostgreSQL.
  • что такое российская СУБД Postgres Pro и как она соотносится с PostgreSQL
  • что такое Postgres Pro Enterprise и почему Enterprise.
  • что с учебными курсами и сертификацией?

Сборка PostgreSQL из исходников для системных администраторов

Дмитрий Евгеньевич Кремер
МИА "Россия Сегодня"

В недавнем прошлом Oracle DBA. Активный участник миграции сайта РИА Новости и проектов Sputnik с Oracle на PostgreSQL. В зону основных компетенций входит построение распределенных сервисов баз данных с высокой доступностью.

  • зачем собирать PostgreSQL из исходников?
  • выбор опций сборки
  • зависимости
  • создание системного окружения
  • базовые настройки Linux для работы PostgreSQL
  • дополнительное ПО, облегчающее жизнь администратора PostgreSQL

PostgreSQL в задачах транспортной аналитики при проектировании мастер-плана для ЧМ-2018 в Екатеринбурге

Антон Владимирович Сикерин
ООО "Транспортная интеграция"

Аспирант Санкт-Петербургского Государственного Электротехнического Университета "ЛЭТИ" по направлению "Информатика и вычислительная техника". В течение 3,5 лет занимаю должность специалиста по транспортному планированию. Основное направление деятельности: моделирование транспортных систем

1) О Чемпионате мира по футболу 2018 и поставленных задачах; 2) Инструментарий отдела моделирования и аналитики; 3) Аналитика пассажиропотоков аэропорта Кольцово и железнодорожного транспорта дальнего и ближнего сообщения (Яндекс.Расписания); 4) Анализ населенности и занятости населения (2ГИС); 5) Прокладка маршрутов клиентских групп с автоматическим выводом метаинформации и сборка отчетных материалов (PostgreSQL + QGIS + Python + LaTeX); 6) Развертывание карт-сервера для предоставления доступа к маршрутам заказчику (Ubuntu + PostGIS + QGIS-Web-Client)

Практический опыт миграции с Oracle и MS SQL Server на PostgreSQL с помощью технологии Database Adapter

Дмитрий Леонидович Гребенщиков
Диасофт Платформа

Надёжный помощник по импортозамещению и автоматизации. Люблю хорошие решения и стратегические партнерства.

Практический опыт миграции с Oracle и MS SQL Server на PostgreSQL с помощью технологии Database Adapter.

Технология миграции: - Эмуляция протоколов взаимодействия клиент-сервер. - Миграция из одной СУБД в другую, критичные отличия и способы решения. - Обзор успешных проектов. - Референс: Рассказ об опыте миграции от Босс Кадровик при участии заместителя генерального директора АО "БОСС. Кадровые системы" Гусева Михаила Анатольевича.

Совместное использование хранимых процедур Postgres и ORM на примере Django

Камиль Фаритович Исламов
Троник

11+ лет в разработке, миграции, внедрении телекоммуникационных биллинговых систем на базе Oracle. 4+ года в разработке бизнес-логики распределённых IOT решений на базе Postgresql. Кандидат технических наук.

Приводятся некоторые примеры и приёмы в проектировании архитектуры Web-приложений с совместным использованием технологий ORM с применением хранимых процедур Postgres на примере Python Django. Рассматриваются варианты реализации бизнес-логики в рамках СУБД с сохранением преимуществ Django и применения встроенной админ-панели.

Диагностика postgresql с точки зрения системного администратора (не DBA)

Николай Сивко
okmeter.io

Cооснователь сервиса мониторинга okmeter.io, до этого руководил службой эксплуатации hh.ru.

Часто бывает так, что у вас уже есть postgresql в production, но нет выделенного DBA. Для того, чтобы база данных не была для вас черным ящиком, я расскажу как диагностировать различные проблемы в ходе эксплуатации постгреса. Мы попробуем разобраться, как ответчать на "бытовые"" вопросы обычного системного администратора: - все ли хорошо с базой сейчас - на что тратятся ресурсы сервера БД - что в первую очередь оптимизировать, чтобы уменьшить потребление ресурсов

Миллиард строк в секунду на PostgreSQL

Hans-Jürgen Schönig
Cybertec Schönig & Schönig GmbH

Ганс-Юрген Шениг является исполнительным директором компании Cybertec Schönig & Schönig GmbH (http://www.postgresql-support.de), оказывающей профессиональные услуги по обучению, консультированию, технической поддержке по PostgreSQL более 15 лет.

Базы данных растут в размерах, так что нужда обрабатывать огромные объемы данных в реальном времени становится все острее. Пока производители коммерческих СУБД хвастаются своими возможностями, мы решили чуточку улучшить PostgreSQL, чтобы показать его возможности в переваривании более миллиарда строк в секунду, просто для демонстрации возможностей open source.

Тем, для кого миллиард строк в секунду - немного, сообщаем, что это не предел, возможности гораздо больше. Приходите посмотреть, как мы делаем это.

Сложные структуры без ORM

Филипп Игоревич Дельгядо
ООО "ИТИС"

За свою карьеру чем только не занимался — от двузвенок на Visual Basic до хардкорного SQL. В последние годы, в основном, занимаюсь нагруженными проектами на Java. В разное время делал крупнейший в России букмекерский движок и Яндекс.Деньги, а сейчас делает специализированную платежную систему. Регулярно делаю доклады на разных конференциях.

Я очень люблю сложные предметные области, строгую типизацию в приложении и 3НФ, но очень не люблю ORM. Поэтому мне приходится активно использовать хранение сериализованных структур в json-полях (даже до появления типа json). В докладе расскажу о некоторых особенностях работы с хранением сложных объектов внутри полей СУБД, расскажу где и как подстелить себе соломку и какие проблемы могут возникнуть.

Возможности ускорения GiST: патчи, хаки, твики

Андрей Бородин
Октоника & Уральский федеральный университет

Андрей Бородин, к.т.н., инженер компании Октоника, доцент Уральского федерального университета. Разрабатывает вычислительную часть систем планирования и анализа, применяемой в сферах финансов и энергетики. Занимается исследованиями в области индексирования данных с 2008 года. Преподает в Уральском федеральном университете и ШАД Яндекса.

В этом докладе будут рассмотрены идеи и их реализации по ускорению различных частей обобщённых поисковых деревьев (GiST) : 1. Внутристраничное индексирование 2. Технология фрактальных деревьев 3. Применение современных алгоритмов индексирования многомерных данных (RR*-дерево) 4. Возможные расширения интерфейса GiST https://yadi.sk/d/HDmNvI8w3FFo8Y

Динамическая компиляция SQL-запросов в PostgreSQL с использованием LLVM JIT

Дмитрий Михайлович Мельник
ИСП РАН

Дмитрий более 10 лет занимается разработкой и оптимизацией компиляторов в Институте системного программирования РАН. До начала работы над PostgreSQL принимал участие в работе над open source проектами -- компиляторами GCC, LLVM, и JIT-компиляторами JavaScript (WebKit/JSC и V8). В данный момент работает над JIT-компилятором в PostgreSQL.

В данный момент в PostgreSQL для исполнения SQL-запросов применяется интерпретатор, реализующий модель итераторов (Volcano-модель). В то же время можно добиться существенного ускорения, выполняя динамическую компиляцию запроса «на лету». В этом случае можно генерировать код, специализированный для конкретного SQL-запроса, а также применять компиляторные оптимизации, учитывая, что во время выполнения уже известна структура используемых таблиц и типы данных. Такой подход особенно актуален для сложных запросов, скорость выполнения которых ограничена производительностью процессора.

Опыт использования PostgreSQL в проектах UIS, CoMagic

Дмитрий Федорович Белобородов
UIS, CoMagic

Дмитрий является техническим директором и директором по развитию проектов UIS и CoMagic. На своей позиции возглавляет, в том числе, сильную команду разработчиков PostgreSQL, которая успешно решает широкий спектр задач от выбора железа, тонкой настройки PostgreSQL до оптимизации сложных аналитических запросов.

Мы используем PostgreSQL с 2003 года и прошли путь от базы в пару гигабайт до кластера с текущим размером более 5Тб. Текущие кол-во таблиц > 700, число хранимых процедур ~1500. Чем готовы поделиться: - рассказать о проблемах, с которыми пришлось сталкиваться на разных этапах развития и найденными решениями - наработанными практиками администрирования - мы работаем с несколькими базами, которые тесно связаны друг с другом, используем для этого свое расширение - у нас работает несколько команд, и есть выработанная методика и инструменты, которые позволяют им не мешать друг другу - мы используем много различных стендов для тестирования, готовы рассказать по какому принципу и как мы их поднимаем - ну, и конечно, про оптимизацию, поиск узких мест и ситуаций, с которыми нам приходится сталкиваться при нагрузках

Мониторинг PostgreSQL в Авито, с примерами

Дмитрий Вагин
Avito

Дмитрий окончил Пермский Государственный Технический Университет по специальности "Автоматизированные системы управления". C 2008 по 2015 гг. работал full-stack разработчиком в команде стартапа. Это период знакомства с PostgreSQL и решения задач, связанных с возрастающими нагрузками, оптимизацией запросов, построением отказоустойчивой горизонтально-масштабируемой системы. С 2015-го года работает в Авито в отделе, занимающимся PostgreSQL в части изменения структуры данных, миграции, хранения, оптимизации и пр.

Небольшой доклад о том как Avito собирает и мониторит нагрузку на базы данных. Отправка метрик из хранимых процедур в Graphite. Сбор метрик pg_stat* и отображение их в Grafana. Примеры из жизни.

Ускоряясь до миллиона записей в секунду: масштабирование PostgreSQL с помощью Citus MX

Marco Slot
Citus Data

Марко защитил магистерскую степень, работая над темой "Распределенные вычислительные системы" в Амстердамском Свободном Университете, и степень доктора за работу в области создания самоуправляемых автомобилей в Дублинском Тринити-Колледже. Во время учебы он нескольких лет работал в качестве инженера-программиста на Amazon CloudFront и Route 53, разрабатывая управление маршрутизацией запросов и ряд других ключевых особенностей. Сейчас работает инженером-программистом в компании Citus Data.

Инструмент Citus позволяет распределять таблицы PostgreSQL между несколькими серверами. Расширяя возможности PostgreSQL в плане делегирования и распараллеливания задач между группой рабочих узлов, Citus позволяет горизонтально масштабировать CPU-ресурсы и память для выполнения запросов.

Год назад мы ступили на долгий путь реализации в Citus возможности горизонтального масштабирования в новом измерении - для повышения скорости записи. Так как все запросы на запись обрабатывались через один узел PostgreSQL, скорость записи в Citus ограничивалась CPU-ресурсами одного узла. Citus MX - это новая версия Citus, которая предоставляет доступ к распределенным таблицам с любого узла, обеспечивая повышение скорости записи до уровня NoSQL решений.

temBoard – новый инструмент для PostgreSQL

Jean-Paul Argudo
Dalibo

Жан-Поль является пионером PostgreSQL. В 2001 году он стал одним из создателей веб-сайта www.postgresql.fr, основав таким образом французское сообщество пользователей и разработчиков PostgreSQL и Европейское Сообщество PostgreSQL. С 2005 года возглавляет компанию Dalibo, в которой применяет весь свой опыт и знания о PostgreSQL, занимаясь консалтингом и экспертизой.

Команда Dalibo уже много лет выпускает open-source инструменты для работы с PostgreSQL наряду с другими программными решениями (см. http://dalibo.github.io/).

В этот раз я расскажу о temBoard, новом инструменте удаленного управления БД PostgreSQL. Данный проект доступен по ссылке https://github.com/dalibo/temboard.

temBoard позволяет осуществлять мониторинг состояния БД, контроль за выполнением процессов, удаленную настройку параметров и задач... А в будущем мы планируем еще больше новых полезных фич! Основное назначение temBoard – это создание полноценной консоли управления для PostgreSQL, которая так необходима DBA для выполнения ежедневных задач.

Внутреннее устройство подсистемы ввода-вывода Linux для администраторов PostgreSQL

Илья Космодемьянский
Data Egret

Илья Космодемьянский — эксперт компании Data Erget, специалист по базам данных PostgreSQL, DB2, Oracle. Область профессиональных интересов — транзакционная обработка данных, построение отказоустойчивых производительных хранилищ. Уделяет много внимания популяризации PostgreSQL как технологии среди русскоговорящей аудитории. Регулярно проводит лекции и семинары об эффективном использовании возможностей PostgreSQL в высокопроизводительном вебе, телекоме и смежных областях.

Вопросы производительность ввода-вывода всегда были на повестке дня DBA всё время, пока существуют базы данных. Объемы данных быстро растут и важно, чтобы чтение с диска, и особенно запись на него, оставалась быстрой.

Для большинства СУБД сравнительно легко найти готовый чеклист по рекомендуемым настройкам Linux для максимизации производительности ввода-вывода, и он, как правильно, действительно хорош. Однако всегда полезно понимать, как и почему эти настройки работают.

В этом докладе будет объяснено, как работает подсистема ввода-вывода в Linux, как страницы данных PostgreSQL попадают с диска в разделяемый буфер и обратно, и с помощью каких механизмов можно управлять этими процессами.

Аналитика в сёла! Опыт внедрения BI системы, функционирующей на ограниченном или разделяемом железе

Сергей Мирвода
ООО Октоника, УрФУ

Один из основателей компании Октоника, специализирующейся на разработке аналитических систем для субъектов РФ и крупных коммерческих предприятий. Старший преподаватель в УрФУ. Преподаю курсы: "Системная инженерия", "Проектирование ИС", "Введение в статистический анализ данных". Женат. Двое детей.

Опыт разработки с нуля, внедрения и развития BI системы http://colibri365.ru для анализа данных в государственных органах. Современные реалии в муниципалитетах РФ, как мы с этим живём. Выжимание производительности из постгреса, использование новейших функций, переписывание запросов, чтобы оптимизатору было проще и другие особенности нашей системы. Приведшие к написанию 4 научных статей и 4 патчей к PG, подробнее о которых в докладах Андрея Бородина.

Автономные транзакции в Postgres

Михаил Владимирович Шурутов
Постгрес Профессиональный

Закончил АлтГТУ им. И.И. Ползунова в 1998 по специальности "Программное обеспечение вычислительной техники и автоматизированных систем". С тех пор занимается успешной эксплуатацией всевозможного программного обеспечения, коммерческого и свободного, зачастую в довольно-таки экстравагантных конфигурациях.

  1. Определение автономной транзакции.
  2. Обзор возможностей автономных транзакций в "больших" СУБД: Oracle.
  3. Логика работы автономных транзакций PostgresPro.
  4. Обзор средств эмуляции автономных транзакций в PostgreSQL.
  5. Сравнение скорости работы встроенного механизма автономных транзакций PostgresPro и средств эмуляции PostgreSQL.

Оптимизация запросов к данным типа “множество” с помощью индексов GIN, GiST, и пользовательских расширений для индексирования

Markus Nullmeier
University of Heidelberg

Markus Nullmeier имеет опыт работы в разнообразных сферах, таких как физика низких температур, обработка изображений, а также численное моделирование процессов горения, полимеризации и гидрогазодинамики. В настоящее время он занимается серверной частью астрономических баз данных на основе PostgreSQL в рамках альянса “Международная виртуальная обсерватория”. Основные сферы интересов в области PostgreSQL – пользовательские типы данных и их индексирование

Очевидно, что множества удобно использовать в различных типах приложений. Хотя в PostgreSQL и нет встроенного типа для множеств, до некоторой степени их можно смоделировать с помощью встроенных типов “массив” и “JSONB”. Кроме того, возможность ускорения запросов с операциями вхождения уже встроена в реализацию индексов GIN.

После краткого обзора существующей функциональности, мы рассмотрим, как добавление пользовательских типов “множество” и, в частности, модификация кода на С ("классы операторов") для индексов GIN и GiST, может повысить производительность.

Лок, лок – дедлок!

Михаил Тюрин

Предприниматель в сфере обработки и анализа данных; до недавнего времени - Главный системный архитектор Avito.

< Query failed: ERROR: deadlock detected
< DETAIL: Process 17371 waits for ShareLock on transaction 102733872; blocked by process 10414.
< Process 10414 waits for ShareLock on transaction 102733874; blocked by process 17371.

Подобные "неприятные" сообщения от сервера могут серьезно озадачить разработчика. При работе с блокировками, в частности, и с транзакциями в целом, следует учитывать особенности реализации клиентских библиотек, которые могут вызывать описанное выше исключение.

В кратком докладе-сообщении будет объяснена механика взаимодействия блокировок, приводящая к ситуации дедлока; приведены ссылки на документацию; разобрана техника "обхода" данной проблемы конкурентной работы с данными; показаны обобщенные приемы из практики.

Особенности реализации распределенного workflow на PostrgeSQL

Филипп Игоревич Дельгядо
ООО "ИТИС"

За свою карьеру чем только не занимался — от двузвенок на Visual Basic до хардкорного SQL. В последние годы, в основном, занимаюсь нагруженными проектами на Java. В разное время делал крупнейший в России букмекерский движок и Яндекс.Деньги, а сейчас делает специализированную платежную систему. Регулярно делаю доклады на разных конференциях.

При реализации сложной бизнес-логики часто возникает необходимость в реализации workflow - цепочки обработки из нескольких шагов, каждый из которых представляет из себя независимый кусочек бизнес-логики. Обычно для этого используются специализированные очереди, но при высоких требованиях к надежности имеет смысл все сделать на PostgreSQL.

PostgreSQL в 1С:Предприятии и в облачной системе 1С:Fresh

Петр Грибанов

"1С:Предприятие" - самая популярная в России/СНГ платформа разработки бизнес-приложений, которая уже более 10 лет поддерживает PostgreSQL. Фирма 1С использует PostgreSQL в своём облачном сервисе 1С:Fresh. В этом докладе мы поделимся опытом и наблюдениями, возникшими в ходе эксплуатации этого сервиса, и обсудим интересные случаи и особенности тандема 1С+Postgres.

Использование PostgreSQL в сервисе автоматизации контекстной рекламы Alytics для near-realtime обработки смешанной нагрузки OLTP + OLAP

Максим Вихарев
Alytics

Посчастливилось принимать участие в двух технологических стартапах. 2007 - 2012, termt.com - был пройден путь от junior C/С++ разработчика до специалиста по безопасности и релиз инженера. termt.com - первый отечественный производитель POS терминалов, сертифицированный PCI PED). 2012 - *, alytics.ru - путь от основателя-разработчика до технического директора. alytics.ru - сервис автоматизации контекстной рекламы. Среди прочего, на протяжении долгого времени непосредственно занимался эксплуатацией сервиса и управлением инфраструктурой.

В слое хранения, используя PostgreSQL с самого старта разработки, мы прошли путь от небольшого кластера на виртуалке до многохостовой системы, которая обеспечивает near real-time обработку смешанной OLTP-OLAP нагрузки. В этом докладе собираюсь рассказать про основные этапы развития нашего аналитического решения на уровне приложения и инфраструктуры, особенности эксплуатации PG, которые возникали в процессе.

Опыт внедрения Greenplum в Aviasales

Айнур Тимербаев
Авиасейлс

В aviasales работаю более четырех лет. За это время участвовал в разработке почти всех проектов в компании. До этого работал в компаниях https://open.kzn.ru/, https://www.domo.ru/, http://nebopro.ru/. Предпочитаю писать на python, раньше специализировался на фронтенде. Хобби - роликовые коньки и схемотехника(Arduino).

После того как в компании стало копится много данных для анализа перед нами стал вопрос поиска колоночной бд, ибо обычный Postgresql уже не справлялся с объемами. Изучив рынок мы остановились на Greenplum, в докладе я расскажу про то почему мы выбрали именно его, опыт внедрения и эксплуатации и о том как мы делали мониторинг для него

Полуавтоматические конверсии схемы данных в МойСклад

Олег Валерьевич Алексеев
МойСклад

Технический директор и сооснователь онлайн сервиса МойСклад.

В процессе построения и эксплуатации сервиса МойСклад был разработан и поддерживается механизм для полуавтоматической корректировки схемы базы данных. В докладе - история появления и развития, варианты поддерживаемых конверсий.

ZSON, расширение PostgreSQL для прозрачного сжатия JSONB

Александр Андреевич Алексеев
PostgresPro

Программист, OSS- и FP-энтузиаст, контрибьютор в PostgreSQL, FreeBSD и других открытых проектах. Автор блога http://eax.me/ и один из постоянных ведущих подкаста http://devzen.ru/. С 2015 года работает в компании Postgres Professional и занимается разработкой ядра СУБД PostgreSQL.

ZSON - это расширение PostgreSQL для прозрачног сжатия JSONB-документов. Сжатие основывается на использовании разделяемого словаря строк, наиболее часто используемых в заданных JSONB документах (не только ключей, но также и значений, элементов массивов, и т.д.) В некоторых случаях ZSON может сэкономить до половины дискового пространства и увеличить количество TPS на 10% за счет меньшего I/O.

Эффективная работа с 10+ ПБ данных в PostgreSQL или новая парадигма построения "бережливых" инфраструктур данных для Data-Driven Enterprise

Алексей Валерьевич Мергасов
НОКСА Дата Лаб

Основатель и CTO компании NoXA Data Lab, специализирующейся на построении гомогенных инфраструктур данных емкостью 10 ПБ и более. До NoXA занимался процессинговыми решениями в компании Informatica и уже более 12 лет специализируется на проектировании и разработке инфраструктур данных крупных предприятий.

Алексей расскажет о технических деталях и опыте применения подхода экстремальной нормализации данных для создания инфраструктур данных с уникальными потребительскими характеристиками. В сравнении с решениями лидеров рынка такие инфраструктуры обладают, например, такими преимуществами, как: - оперативная обработка 10 ПБ данных и больше, - в 2-6 раз более высокая производительность, - сквозная 100% консистентность данных, - практически линейная горизонтальная масштабируемость, - в 4-10 более низкая стоимость владения, - и т. д. Изложенный подход уже нашел применение за пределами России в решениях для операторов связи, ритейла, финтеха, современном производстве (Industry 4.0, индустриальный IoT), в государственном секторе.