Architecture Course Home / Архитектурная деятельность / Архитектурное моделирование / Процесс проектирования архитектуры

Практический пример: Платежные выписки/Выбор БД

Эта ADR пример внесения постепенный изменений в существующую архитектуру. Такие изменения как правила связаны с циклом обратной связи от потребителя или работы с тех. долгом.

Глоссарий

Контекст

Формулировка проблемы

На первой итерации мы предположили, что можем хранить в PostgreSQL объем данных в 5 тб. После общения с платформой выяснилось, что они не дают никаких гарантий доступности такой инсталяции.

Окружение проблемы

В данном сценарии рассматривается банк с активной пользовательской базой в 500к пользователей, с перспективами роста до 1кк. Банк давно на рынке с устаявщейся культурой и процессами разработки. В банке постоянно запускаются новые продукты. Большое разнообразие PaaS. Имеются принципы и стандарты разработки. Разработка ведется предпочтительно в крос-функциональных, продуктовых командах использую гибкие методологии Agile.

Надёжность

Наше окружение бесплатно предоставляет нам высокую дотступность наших решений:

Наша задача минимизировать проблемы связанные с отказами внешних (для проектируемой системы) компонет.

Безопастность

Наша инфраструктура бесплатно даёт нам системы:

Проблемы безопастности не будет затрагиваться на этом этапе проектирования.


Цель

На первой итерации мы предположили, что можем хранить в PostgreSQL объем данных в 5 тб. После общения с платформой выяснилось, что они не дают никаких гарантий доступности такой инсталяции.

Цель. проектирования будет повторный анализ БД с имеющимеся новыми вводными по ограничениям платформы.

Требования, ограничения и сценарии атрибутов качества

Функциональные требования (ФТ)

ID

Описание требования

Заказчик

Приоритет (H/M/L)





Нефункциональные требования (НФТ)

ID

Связанные сценарии

Описание требования

Заказчик

Приоритет (H/M/L)

Влияние на архитектуру (H/M/L)



Scalability/Performance


NFR-007ВсеК 2026 г. DAU должно увеличиться до 100к. Система должна предсказуемо масштабироваться.Технолог. Вася ПупкинHM
NFR-008FR-001, FR-002Система должна хранить данные за весь период (предположительный объем данных на 2026 г будет 6 тб. прирост данных каждый год 1 тб)Технолог. Вася ПупкинHH

Agility



NFR-012ВсеСистема должны быть лёгкой в расширении и сопровожденииТехнолог. Вася ПупкинMН

Ограничения

ID

Описание требования

Заказчик

Влияние на архитектуру (H/M/L)

CON-001

Корпоративные стандарты (IT как Lego)

  • postgresql
  • cassandra
  • redis
  • k8s
  • kafka
  • ...
IT как LEGOH
CON-002

DBaaS не рекомендуют инсталяции больше 1 тб. Поддержка такой инсталяции ложиться на плечи команды разработки

DBaaSH

Выделение архитектурно значимых требований

ID

Описание требования

Причина ASR

NFR-007К 2026 г. DAU должно увеличиться до 100к. Система должна предсказуемо масштабироваться.Влияние на масштабируемость
NFR-008Система должна хранить данные за весь период (предположительный объем данных на 2026 г будет 6 тб. прирост данных каждый год 1 тб)Влияние на масштабируемость
NFR-012Система должны быть лёгкой в расширении и сопровожденииВлияет на гибкость БД
CON-001

Корпоративные стандарты (IT как Lego)

  • postgresql
  • cassandra
  • redis
  • k8s
  • kafka
  • ...
Ограничивает возможный дизайн
CON-002DBaaS не рекомендуют инсталяции больше 1 тб. Поддержка такой инсталяции ложиться на плечи команды разработкиОграничивает возможный дизайн

Решение


Раунд 1. Перевыбор БД

Цель раунда

Выбор БД

Драйверы: Все

Элемент для проработки

База данных

Выявление альтернатив и анализ компромиссов (trade-off)

Качество (utility tree)

ID

Архитектурный драйвер

PostgreSQL (без шардинга, >1 ТБ, полная ответственность команды)

PostgreSQL (шардированный вручную, инфраструктура платформы каждого отдельного экземпляра)

Cassandra

Functional Suitability

🟢🟢🟢

Security



🟢🟢🟢
Reliability

🔴 Низкая (полная ответственность команды, большие риски восстановления).🟢 Высокая (резервирование и восстановление обеспечено платформой на уровне инстансов).🟢 Высокая (распределённость, автоматическое восстановление, платформенная поддержка).

Scalability

NFR-007К 2026 г. DAU должно увеличиться до 100к. Система должна предсказуемо масштабироваться.🟠 Средняя, под наши цели ограниченно масштабируется🟢 Высокая (горизонтально масштабируется, но управление шардированием вручную).🟢 Высокая (горизонтальное автоматическое масштабирование).
NFR-008Система должна хранить данные за весь период (предположительный объем данных на 2026 г будет 6 тб. прирост данных каждый год 1 тб)🟠 Средняя, 6 ТБ ещё можно поддерживать на мощном сервере🟢 Высокая (горизонтально масштабируется, но управление шардированием вручную).🟢 Высокая (горизонтальное автоматическое масштабирование).

Agility

NFR-012Система должны быть лёгкой в расширении и сопровождении🟠 Средняя (простые миграции, но вся инфраструктура и проблемы миграций ложатся на команду).🟠 Средняя (требуется ручное управление шардированием, сложность миграций выше).🔴 Низкая (схему данных и запросы нужно знать заранее, сложные миграции).
Complexity

🟢 Низкая (один сервер, понятная схема данных, минимум инфраструктуры).🔴 Высокая (требуется реализация и поддержка механизмов шардинга, балансировка, ребалансировка и мониторинг).🟠 Средняя (платформа поддерживает инфраструктуру, но нужна экспертиза по модели данных и работе с Cassandra).
Resource Utilization

🟠 Средняя, один дорогой сервер, но объём ещё управляемый🟠 Средняя (инфраструктура обеспечивается платформой, но часть ресурсов расходуется на механизмы шардинга).🟢 Высокая эффективность (commodity hardware, хорошее использование ресурсов).
ConstrainsCON-001

Корпоративные стандарты (IT как Lego)

  • postgresql
  • cassandra
  • redis
  • k8s
  • kafka
  • ...
🟢🟢🟢
CON-002DBaaS не рекомендуют инсталяции больше 1 тб. Поддержка такой инсталяции ложиться на плечи команды разработки🔴 DBaaS не рекомендуют инсталяции больше 1 тб. Поддержка такой инсталяции ложиться на плечи команды разработки🟢🟢

Принятое решение

1 откидывает т.к. уже сталкивались с сопровождением неплатформенных решений и это слишком дорого нам встало.

3 по прежнему не рассматриваем из-за высокого риска изменения требований к структуре отчета.

2 остаётся единственным вариантом удовлетворяющим наши требования. Однако у него есть ряд проблем которые необходимо решить на следующих раундах:

  • продумать механизм балансировки между узлами
  • необходимо выбрать алгоритм шардирования
  • необходимо продумать механизм решардирования

Уточнение принятого решения

Дизайнерские решение и расположениеОбоснование

Поднимем 10 мастер PostgreSQL и 10 реплика.

Такая конфигурация позволит нам долгое время не думать о решардировании

Раунд 2. Выбор механизма балансировки между узлами

Цель раунда

Проработка нового архитектурного драйвер с предидущего раунда

  • механизм балансировки между узлами

Элемент для проработки

База данных

Выявление альтернатив и анализ компромиссов (trade-off)

Качество (utility tree)

ID

Архитектурный драйвер

Клиентская балансировка (Backend)

Самописный «умный» балансировщик

Проприетарный балансировщик

Functional Suitability

🟢🟢🟢

Security



🟢🟢🟢
Reliability

🟠 Средняя. Надежность зависит от качества кода backend. Ошибки могут приводить к сбоям.🔴 Низкая. Самописный инструмент не проверен в условиях высокой нагрузки, повышенные риски ошибок и отказов.🟢 Высокая. Проверенные механизмы, высокая надежность, стабильность решений.

Scalability



🟢 Высокая. Легко масштабировать масштабированием backend сервисов.🟠 Средняя. Масштабирование возможно, но требует отдельного внимания и доработок, т.к. решение самописное и изначально может не поддерживать горизонтальное масштабирование.🟢 Высокая. Готовое решение с автоматической поддержкой масштабируемости.

Agility



🟠 Средняя. Высокая гибкость конфигурации балансировки, но и риск запутанности высок.🟠 Средняя. Удобство настройки под свои нужды, но изменения и доработки потребуют дополнительных ресурсов команды.🟢 Высокая. Легкость внесения изменений и простота сопровождения за счет наличия документации и поддержки.
Complexity

🟢 Низкая. Простая реализация.🔴 Высокая. Требует разработки, поддержки и эволюции собственного решения, есть риски сложности и ошибок.🟠 Средняя. Готовое решение, простая интеграция и наличие документации, но нет поддержки на уровне платформ
Resource Utilization

🟢 Высокая эффективность, отсутствие дополнительных слоев инфраструктуры.🟠 Средняя. Дополнительные ресурсы на поддержку самописного решения.🟠 Средняя. Может требовать дополнительных ресурсов на лицензирование или поддержку инфраструктуры.
Constrains

🟢🟢🔴 Низкая. Не поддерживается в компании. Нет экспертизы у соседних команд.

Принятое решение

От решения 2 отказывается сразу т.к. он несет высокую неопределенность и риски реализации. Так же мы не понимаем кто еще его будет использовать.

Следом отказывается и от 3 варианта т.к. в компании нет успешных историй использования таких решений.

Выбираем вариант 1 как самый дешевый для продуктовой команды.

Раунд 3. Выбор алгоритма шардирования и решардирования

Цель раунда

Проработка оставшихся архитектурных драйверов с первого раунда

  • необходимо выбрать алгоритм шардирования
  • необходимо продумать механизм решардирования

Элемент для проработки

База данных

Выявление альтернатив и анализ компромиссов (trade-off)

Качество (utility tree)

ID

Архитектурный драйвер

Consistent hashing

Ключи и шарды располагаются на кольце хешей. При добавлении или удалении шарда минимально изменяется маппинг ключей и шардов.

Rendezvous hashing

Для каждого ключа вычисляется «вес» каждого шарда. Выбирается шард с максимальным весом. Минимум миграций при добавлении шарда.

Остаток от деления

Шард = хеш(key) % кол-во шардов. Самый простой подход, но при изменении числа шардов приводит к массовым миграциям данных.

Functional Suitability

🟢🟢🟢

Security



🟢🟢🟢
Reliability

🟢 Высокая (минимальный объем миграций при изменениях).🟢 Высокая (минимальные миграции, хорошая стабильность).🔴 Низкая (большие риски при миграции большого объема данных).

Scalability



🟢 Высокая (легко масштабировать, добавлять/удалять шарды).🟢 Высокая (очень легко добавлять/удалять шарды, минимальные миграции).🔴 Низкая (добавление шарда вызывает огромные миграции данных).

Agility



🟢 Высокая (легко вносить изменения, добавлять шарды с минимальными миграциями).🟢 Высокая (ещё проще добавлять шарды, почти нет миграций).🔴 Низкая (любой рост или изменение количества шардов крайне болезненны).
Complexity

🟠 Средняя/Высокая (необходимо понимание принципа кольца хешей).🟠 Средняя (понятный алгоритм, но сложнее в реализации).🟢 Низкая (очень простой алгоритм).
Resource Utilization

🟢🟢🟢
Constrains

🟢🟢🟢

Принятое решение

Наш выбор падает на Rendezvous hashing. С точки зрения сложности реализации и возможным рискам это наилучший, для нас, выбор.

Уточнение принятого решения

Дизайнерские решение и расположениеОбоснование

В качестве хеш-функции используем XxHash64 из-за его плюсов:

  • Скорость вычисления
    • В сравнительных тестах один из самых производительных, наряду с альтернативными Murmur3, CityHash64
    • Для более чем 800000 записей и 20 шардов время вычислений не превышает 1 сек
  • Наличие реализации для dotnet от Microsoft: XxHash64

Хеш вычисляем по полям: company_id, agreement_number

  • agreement_number используем, т.к. это позволит более равномерно распределять операции
  • крупные компании, типа Инстамарт, периодически открывают новые счета и переводят все операции на него

Оригинал на wiki