title

text

Андрей Литуненко
Андрей Литуненко 2ГИС Программист
18:00 06 февраля
45 мин

Как мы распрощались с MongoDB и перешли на PostgreSQL

В своем докладе я поделюсь опытом переноса, конвертацией NoSQL-данных в реляционный вид и расскажу, как нам удалось ускорить приложение в 2 раза.

Изначально для хранения данных мы использовали PosgtgreSQL и MongoDB. На практике мы выяснили, что такое разделение крайне неудобно. Мы тратили уйму времени и внимания.

Расскажу, как с помощью mosql мы перенесли данные из MongoDB в PostgreSQL. Теперь все данные могут быть получены одним запросом, а схема таблиц обеспечивает консистентность данных.

Слайды

Видео

Другие доклады

  • Дмитрий Сарафанников
    Дмитрий Сарафанников Яндекс Разработчик
    45 мин

    Как сохранить статистику при мажорном обновлении, и что за это бывает

    Ни для кого не секрет, что статистика не переносится при мажорном обновлении. Для небольших и не сильно нагруженных баз это не проблема, можно быстро собрать новую статистику. Но у нас есть базы объемом порядка 5ТБ и нагрузкой порядка 100k rps, для которых это стало большой проблемой: взлетая без статистики, реплики даже не могли накатывать WAL. В своем докладе расскажу, на какие хитрости мы пошли, чтобы произвести обновление этих баз в условиях требований 100% доступности read only, о том, какие ошибки допустили, и о том как эти ошибки мучительно исправляли. Результатом этих ошибок стало расширение pg_dirty_hands, в котором мы будем собирать различные хаки, которые можно назвать «фол последней надежды».

  • Дмитрий Павлов
    Дмитрий Павлов Arenadata Big Data solutions Senior Consultant
    45 мин

    Дрессируем Greenplum

    С необходимостью завести в корпоративном IT-ландшафте аналитическую СУБД сталкивается большинство компаний, чей бизнес так или иначе затрагивает информационные технологии. В докладе я расскажу о самых главных нюансах развёртывания и эксплуатации распределённой аналитической open-source СУБД, основанной на PostgreSQL - Greenplum, разберу типичные ошибки при её использовании, приведу best practices и обращу внимание на тонкие места.

  • Анатолий Солдатов
    Анатолий Солдатов Компания - ЗАО ЛАНИТ Старший разработчик баз данных
    22 мин

    Как деплоить в 5 раз быстрее или рассказ о нашей реализации параллельного выполнения миграций в Liquibase

    Liquibase - очень удобный инструмент последовательных миграций баз данных, используемый как на наших проектах, так и в большом числе других проектов и фреймворков. Он позволяет держать код базы вместе с кодом приложения в VSC, отслеживать попытки повторных миграций и много-много чего еще. Но рано или поздно проект вырастает, данные занимают терабайты, а liquibase все еще накатывает миграции последовательно.

    Мы не смогли позволить себе деплоиться по 100 часов и придумали тулзу (фреймворк) для liquibase, которая расширяет его возможности и позволяет выполнять паралллельно целый ряд скриптов или разбивать одну большую миграцию на маленькие партиции и параллельно мигрировать их.

  • Александр Коротков
    Александр Коротков Postgres Professional Руководитель разработки
    45 мин

    Credereum – Postgres с поддержкой блокчейн

    Соединяем доказуемость и неизменяемость блокчейна с производительностью и эффективностью традиционных СУБД.

    Технология блокчейн имеет ряд уникальных свойств, среди которых есть доказуемость и неизменямость. Каждая транзакция в блокчейне имеет цифровую подпись своего автора, которая может быть проверена любым участником сети. Кроме этого, однажды попавшие в блокчейн данные уже не могут быть изменены в дальнейшем. Тем не менее, для большинства современных информационных систем запись всех данных в публиный блокчейн оказалась бы слишком дорогой.

    Credereum – это платформа, которая позволяет создавать и поддерживать базы данных, содержимое и история которых доказуемы и неизменяемы, без принесения в жертву производительности и эффективности традиционных СУБД. Благодаря Credereum владелец базы данных может доказывать корректность результатов запроса, а пользователи могут их проверять. Владельцу базы данных не обязательно раскрывать всё содержимое базы данных или всю историю транзакций для того, чтобы доказывать корректность результатов отдельного запроса к базе данных. Таким образом, база данных Credereum подходит и для хранения приватной информации. Credereum использует передовые технологии, такие как децентрализованное облако и блокчейн с шардингом. Credereum – это зарождающаяся тенология приватных и доверенных баз данных.

    Мы объясним, почему PostgreSQL является подходящей основной для проекта Credereum, а также расскажем, что потребовалось доработать в постгресе для поддержки цифровых подписей и криптографического хранилища данных.