Architecture Course Home / Архитектурная деятельность / Архитектурное моделирование / Процесс проектирования архитектуры

Практический пример: Рефакторинг платежей

В данном примере мы разберем рефакторинг. Доводить до состояние когда рефакторинг "жизненно необходим" для будущего проекта не в коем случае нельзя, но такое как правило происходит.

Основными драйверами рефакторинга могут служить:

  • отсутствие контроля тех. долга
  • изменение верхнеуровневых целей компании влияющих на ключевые атрибуты качества
  • отказ от какой-то технологии

В данном ADR раунду 3-4 могут быть выделены отдельными ADR, но в целях экономии бумаги мы разберем всё за одну итерацию.


Глоссарий

Контекст

Формулировка проблемы

Банк предоставляет продукты для юридических лиц. Один из продуктов "Платежи и переводы". Продукт давно и активно разрабатывался, но в какое-то время доработки стали слишком долгими. Продукт уже не мог успевать за конкурентами.

Команда бизнеса и разработки приняли решение переписать продукт так чтобы он начал удовлетворять целям компании.

Окружение проблемы

В данном сценарии рассматривается банк с активной пользовательской базой в 500к пользователей, с перспективами роста до 1кк. Банк давно на рынке с устаявщейся культурой и процессами разработки. В банке постоянно запускаются новые продукты. Большое разнообразие PaaS. Имеются принципы и стандарты разработки. Разработка ведется предпочтительно в крос-функциональных, продуктовых командах использую гибкие методологии Agile.

Надёжность

Наше окружение бесплатно предоставляет нам высокую дотступность наших решений:

Наша задача минимизировать проблемы связанные с отказами внешних (для проектируемой системы) компонет.

Безопастность

Наша инфраструктура бесплатно даёт нам системы:

Проблемы безопастности не будет затрагиваться на этом этапе проектирования.

Диаграмма контейнеров системы


Цель

Система платежей в самообслуживании банка перестала удовлетворять требованиям заказчика в скорости доработок нового функционала. Необходимо переосмыслить систему:

Требования, ограничения и сценарии атрибутов качества

Функциональные требования (ФТ)

ID

Описание требования

Заказчик

Приоритет (H/M/L)

FR-001Пользователь хочет совершать перевод по банковским реквизитам, чтобы оплачивать счета и выполнять обязательства перед контрагентами.Технолог. Вася ПупкинH
FR-002Пользователь хочет совершать перевод с карты на карту, чтобы быстро переводить деньги контрагентам или сотрудникам.Технолог. Вася ПупкинH
FR-003Пользователь хочет совершать перевод по системе быстрых платежей (СПБ), чтобы моментально перечислять деньги контрагентам или партнерам.Технолог. Вася ПупкинH
FR-004Пользователь хочет просматривать ленту платежей, чтобы видеть все совершённые операции в одном месте и контролировать движение средств.Технолог. Вася ПупкинH
FR-005Пользователь хочет добавлять платежи в избранное, чтобы быстро выполнять повторяющиеся платежи.Технолог. Вася ПупкинH
FR-006Пользователь хочет создавать платежи из избранного, чтобы не вводить повторно одни и те же реквизиты.Технолог. Вася ПупкинH
FR-007Пользователь хочет просматривать реквизиты платежа, чтобы убедиться в правильности указанных данных перед отправкой.Технолог. Вася ПупкинH
FR-008Пользователь зарплатного продукта хочет формировать зарплатный реестр, чтобы централизованно выплачивать зарплату сотрудникам.Технолог. Вася ПупкинH
FR-009Пользователь зарплатного продукта хочет совершать перевод по сформированному зарплатному реестру, чтобы упростить массовые выплаты сотрудникам.Технолог. Вася ПупкинH
FR-010Пользователь валютных операций хочет совершать валютные переводы, чтобы оплачивать счета зарубежным партнерам или контрагентам.Технолог. Вася ПупкинH
FR-011Финансовый директор хочет запретить проведение платежа без его подтверждения, чтобы предотвратить ошибочные или нежелательные переводы.Технолог. Вася ПупкинH
FR-012Финансовый директор хочет подтверждать проведение платежей вручную, чтобы иметь контроль над движением денежных средств.Технолог. Вася ПупкинH
FR-013Сотрудник валютного контроля хочет запрашивать дополнительные документы для проведения платежа, чтобы обеспечить юридическую безопасность и соответствие регуляторным требованиям.Технолог. Вася ПупкинH

Нефункциональные требования (НФТ)

ID

Связанные сценарии

Описание требования

Заказчик

Приоритет (H/M/L)

Влияние на архитектуру (H/M/L)



Security


NFR-001ВсеПользователь может поучить данные только той компании в которой является сотрудникомИБ. Саша ПуговкинHL
NFR-002ВсеСотрудник поддержки может получить данные к любой компанииИБ. Саша ПуговкинHL
NFR-003ВсеВнутренние системы должны использовать механизмы аутентификации и авторизации для доступа к системеИБ. Саша ПуговкинML


Reliability


NFR-004FR1, FR2, FR3, FR9, FR10Недоступность одного платежного метода не должна влиять на другойSRE. Петя ЯковлевHM
NFR-005FR1, FR2, FR3, FR9, FR10В случае недоступности платежного шлюза система должна выдавать понятное сообщение об ошибкиSRE. Петя ЯковлевML
NFR-006FR1, FR2, FR3, FR9, FR10Проведение платежей должно быть доступно в 99.9% времениSRE. Петя ЯковлевHH
NFR-007FR4Просмотр ленты платежей должен быть доступен в 99.8% времениSRE. Петя ЯковлевHM


Scalability/Performance


NFR-008FR1, FR2, FR3, FR9, FR10Система должна выдерживать нагрузку 100к DAUТехнолог. Вася ПупкинHM
NFR-009FR1, FR2, FR3, FR9, FR10К 2026 г. DAU должно увеличиться до 200к. Система должна предсказуемо масштабироваться.Технолог. Вася ПупкинHM
NFR-010FR4Система должна хранить данные не исполненные платежи в течении 5 лет (предполагаемый объём данных 2 тб)Технолог. Вася ПупкинMM


Agility


NFR-011FR1, FR2, FR3, FR9, FR10Доработки логики конкретного типа платежи должно не выходить за пределы одной команды разработкиТехнолог. Вася ПупкинMH
NFR-012
Добавление нового типа платежа не должно существенно влиять на уже существующие типы платежейТехнолог. Вася ПупкинMH

Ограничения

ID

Описание требования

Заказчик

Влияние на архитектуру (H/M/L)

CON-001

Корпоративные стандарты (IT как Lego)

  • postgresql
  • cassandra
  • redis
  • k8s
  • kafka
  • ...
IT как LEGOL
CON-002Старый функционал не должен пострадать в результате рефакторинга Технолог. Вася ПупкинL
CON-003Текущая команда пишет на Scala. Хотябы одна команда после рефакторинга должна остаться на scalaТехнолог. Вася ПупкинL

Выделение архитектурно значимых требований

ID

Описание требования

Причина ASR

NFR-004

Недоступность одного платежного метода не должна влиять на другойВлияние на надежность
NFR-006Проведение платежей должно быть доступно в 99.9% времениВлияние на надежность
NFR-007Просмотр ленты платежей должен быть доступен в 99.8% времениВлияние на надежность
NFR-008Система должна выдерживать нагрузку 100к DAUВлияние на масштабируемость
NFR-009К 2026 г. DAU должно увеличиться до 200к. Система должна предсказуемо масштабироваться.Влияние на масштабируемость
NFR-011Доработки логики конкретного типа платежи должно не выходить за пределы одной команды разработкиВлияние на гибкость
NFR-012Добавление нового типа платежа не должно существенно влиять на уже существующие типы платежейВлияние на гибкость

Решение


Раунд 1. Функциональная декомпозиция

Цель раунда

Определить функциональные компоненты системы

Драйверы: Все функциональные требования.

Элемент для проработки

Вся система

Концепции проектирования

На самом деле до начала декомпозиции мы уже видим проблемы в текущем дизайне:

  1. Мы знаем, что продукт ВЭД контрибьютит в систему платежей
  2. Мы знаем, что зарплатный проект просит доработки от платежей по функционалу зарплатных реестров

Эти вводные уже хорошая отправная точка, но пойдём глубже и визуализируем проблему.

Начнем с сценариев использования.

Более подробно о функциональной декомпозиции я рассказываю в курс Архитектурные шаблоны


Выделим согласованные сценарии использования

На рисунке выше разными цветами выделили сценарии тесно связанные друг с другом.

Сгруппируем эти сценарии и построим связи между ними, получили компонентную диаграмму.

Из диаграммы видно, что большинство наших компонент не связанны друг с другом, но есть три компонента (лента платежей, избранное, контроль платежей и переводов) от которых зависят все остальные компоненты системы. Эта информация нам пригодиться в будущем.

Эскиз решения

КомпонентОтветственность
Перевод по реквизитамКомпонент отвечает за перевод платежа по реквизитам
С карты на картуКомпонент отвечает за перевод платежа с карты на карту
Перевод по СПБКомпонент отвечает за переводы по СПБ
Зарплатный проектПродукт для зарплатных клиентов банка
ВЭДПод ВЭД попадает любой функционал попадающие под критерии ВЭД
Лента платежей

Лента платежей отображает все платежи по любому из типов платежей:

  • Перевод по реквизитам
  • С карты на карту
  • Перевод по СПБ
  • Валютные переводы
  • Зарплатные выплаты
Избранные платежиБалванки платежей созданные из исполненных платежей
Контроль платежей и переводовКомпонент способный приостановить перевод и продолжить его. Остановка платежа происходит автоматически по заданным правилам. Проведение такого платежа может только финансовый директор.

Раунд 2. Выбор базового стиля проектирования

Цель раунда

На этом раунде проработаем драйверы гибкости и надежности т.к. в основном они будут влиять на архитектурный стиль.

Драйверы: NFR-004, NFR-011, NFR-012

Элемент для проработки

Вся система

Выявление альтернатив и анализ компромиссов (trade-off)

Качество (utility tree)

ID

Архитектурный драйвер

Модульный монолит

Микросервисы

Functional Suitability

🟢🟢

Security



🟢🟢
ReliabilityNFR-004Недоступность одного платежного метода не должна влиять на другой🟠 Ошибки локализуются, но есть риски развертывания.🟢 Полная изоляция ошибок.

Scalability



🟠 Средняя (масштабирование проще, но ограничено).🟢 Высокая (гибкое масштабирование).

Agility

NFR-011Доработки логики конкретного типа платежи должно не выходить за пределы одной команды разработки🟠 Высокая независимость разработки, но требует высокой архитектурной зрелости от команды.🟢 Высокая независимость и гибкость

NFR-012Добавление нового типа платежа не должно существенно влиять на уже существующие типы платежей🟠 Высокая независимость разработки, но требует высокой архитектурной зрелости от команды.🟢 Высокая независимость и гибкость
Complexity

🟠 Средняя (требуется дисциплина и архитектурный контроль).🔴 Высокая (большая инфраструктура, сложности интеграции и эксплуатации, отсутствие транзакционной модели).
Resource Utilization

🟢 Высокая (низкие накладные расходы).🟠 Средняя (высокие инфраструктурные расходы).
Constrains

🟢🟢

Принятое решение

Оба перечисленных варианта имеют свои преимущества и недостатки, поэтому при рефакторинге мы будем использовать их в зависимости от контекста. Наш базовый принцип — Service per team. Если функционал полностью принадлежит одной команде, он должен находиться в пределах одного сервиса (декомпозиция допускается только при очевидной необходимости и четком понимании её преимуществ). Если же модули находятся в зонах ответственности разных команд, они реализуются как отдельные сервисы.

Уточнение принятого решения

КомпонентОтветственность

Исходящие платежи

  • Перевод по реквизитам
  • С карты на карту
  • Перевод по СПБ

Выделим один микросервис под три поддомена. Это может показаться странным, противоречивым и не соответствовать концепции микросервисов, но мы не сторонники преждевременных решений и придерживается принципи декомпозиции Service Per Team.

Service per team говорит, что каждый сервис принадлежит команде, которая несет единоличную ответственность за внесение изменений. В идеале у каждой команды есть только один сервис и дальнейшие причины декомпозиции должны быть обоснованны реальными проблемами. Сервис является оптимальным пока когнитивных способностей команды хватает для осознания сервиса.


Платежи

ВЭД

Команда ВЭД у нас уже существует и как она перенесет себе свой функционал выходит за предел этой итерации проектирования: будет ли это отдельный сервис или это будет модуль какого-то сервиса.

ВЭД

Зарплатка

Команда зарплатного проекта у нас тоже существует, как она перенесет себе свой функционал выходит за пределы этой итерации проектирования.

Salary

Платформа платежей

  • Лента платежей
  • Избранные платежи
  • Контроль платежей и переводов

На текущем этапе предпочту держать эти компоненты совместно. Объем функционала не выглядит сильно большим и найм второй команды нам никто не открывал. Реализуем дульный микросервис Service per team.

Платформа платежей

Стадии рефакторинга

Дизайнерские решение и расположениеОбоснование

Начнем наш рефакторинг с структурированию того, что есть в пределах нашего монолита. Это будет первый шаг к разделению функциональностей.

Ответственность команды "Платежи"

Рефакторинг сложный процесс и требует глубокого погружения и анализа кода. Постепенный переход от монолитной структуры позволит не останавливая бизнес проводить реыакторинг. В противном случае нам придётся поддерживать две кодовые базы одновременно.

На следующем шаге передадим часть кодовой базу тем командам которые отвечают за конкретный домен: зарплатка, ВЭД

Ответственность команды "Платежи"

Перенос кода ближе к продукту позволит начать развивать этот продукт. Перенос данных сложный процесс и мы его оставим на последний шаг.

На последнем шаге рефакторинга разъедемся данными. Эта самый сложный этап связанный с согласованностью и транзакционностью (в случае необходимости)

Ответственность команды "Платежи"

Для полной развязанности продуктов требуется разнести и данные. Данные могут быть узким местом по множеству причин:

  • единая точка отказа
    • миграции повлияют на всех
    • обслуживание будет зависимым для всех
  • возможные поломки ни стыке продуктов

Раунд 3. Реализация ленты платежей

Цель раунда

Для этой итерации выберем два сценария атрибута качества важных для ленты платежей:

  • доступность
  • модифицируемость

Драйверы: NFR-007, NFR-011

Элемент для проработки

Лента платежей

Выявление альтернатив и анализ компромиссов (trade-off)

Качество (utility tree)

ID

Архитектурный драйвер

Лента платежей синхронно вызывает методы получения ленты каждого из платежных методов.

Лента платежей асинхронно получает изменения о состоянии платежей в асинхронном режиме

Functional Suitability

🟢🟢

Security



🟢🟢
ReliabilityNFR-007Просмотр ленты платежей должен быть доступен в 99.8% времени🔴 Низкая. Отказ одного сервиса приводит к проблемам всей ленты. Сложность отладки, трудно определить точку сбоя.🟢 Высокая. Доступность ленты не зависит от внешних сервисов.

Scalability



🔴 Низкая. Сложность масштабирования растёт с числом сервисов и нагрузкой.🟢 Высокая. Легко масштабировать отдельную read-базу, минимально влияет рост числа источников.

Agility

NFR-011Доработки логики конкретного типа платежи должно не выходить за пределы одной команды разработки🟠 Средняя. Требуется много согласований форматов API и взаимодействия.🟢 Высокая. Удобно менять формат ленты, не затрагивая источники.
Complexity

🟠 Средняя. Простота реализации, но сложность растёт с числом платежных методов.

🔴 Высокая. Требует организации репликации, проработка механизма гарантированной доставки, обнаружения потерянных сообщений.

Resource Utilization

🔴 Низкая. Высокие сетевые расходы и неоптимальная нагрузка на сервисы.🟢 Высокая. Эффективное использование ресурсов (минимум синхронных вызовов).
Constrains

🟢🟢

Принятое решение

Вариант 1 не удовлетворяет большинству наших критериев

Вариант 2 решает архитектурные драйверы выбранные на эту итерацию, но и приносит нам новые проблемы которые нам предстоит решить:

  • гарантии доставки
  • обнаружение потерь сообщений
  • план доката в случае потери

Уточнение принятого решения

Дизайнерские решение и расположениеОбоснование

В качестве шины событий будем использовать Kafka как стандарт в компании

  • replication factor 3
  • min.insync.replicas 2 - гарантирует нам, что запись будет производиться только в том случае если в кластере как минимум два брокер синхронизированны друг с другом
  • количество партиций в очереди кратно 4. Это позволит нам ровномерно размазать нагрузку по нашим инстансам приложения

Ответственная команда "Платформа платежей"

Такая конфигурация гарантирует нам попадание и хранения события на стороне брокера

Использовать outbox на всех платежных методах для гарантии отправки сообщения Kafka

Шаблон outbox гарантирует нам отправку сообщения в очередь. В противном случае мы рискуем получить несогласованность.

При отправке сообщения в очередь используется парамерт acks=all. Это и min.insync.replicas 2 гарантируют нам долговечную запись на брокере

Ответственная команда "Все платежные методы"

Такая конфигурация гарантирует фиксацию события минимум на двух репликах брокера.

На стороне платформы платежей НЕ используем авто. подтверждение обработки сообщений. В ручную фиксируем сообщение после гарантированной записи в БД

Так мы закрываем риск отсутствия записи в локальное хранилище.

Описать общий контракт сообщения для всех платежных методов. Расширение этого контракта не должно ломать ленты платежей и платежные методы.

Асинхронный контракт ленты платежей:

  • все платежные методы пишут в одну очередь
  • контракт описывается и контролируется на стороне ленты платежей
  • контракт должен содержать сквозной идентификатор не пересекающийся между разными платежными методами. Сейчас выглядит так, что это будет UUID.

Ответственная команда "Платформа платежей"

Неправильный контракт может стать узким местом в эволюционности продуктов. Контракт должен быть мягким/полумягким.

Эскиз решения

Раунд 4. Реализовать контроль платежей и переводов

Цель раунда

На этом раунде нам необходимо понять как расположить "Контроль платежей и переводов" в нашей системе.

Дизайн микросервисов принёс нам новый архитектурный драйвер. Контроль платежей и переводов в распределенной системе становится не тривиальной задачей.

Элемент для проработки

Контроль платежей и переводов

Выявление альтернатив и анализ компромиссов (trade-off)

Качество (utility tree)

ID

Архитектурный драйвер

Промежуточный слой (Middleware)

  • Платёжные сервисы не знают о его существовании.
  • Middleware автоматически перехватывает все запросы к платёжному шлюзу и принимает решение (пропустить, остановить и т.п.).
  • Middleware является прозрачным proxy, стоящим между сервисами и платёжным шлюзом.

Отдельный сервис контроля:

  • Платёжные сервисы знают о его существовании явно.
  • Каждый сервис явно вызывает API сервиса контроля и получает от него вердикт.
  • Платёжный сервис самостоятельно принимает решение, использовать вердикт сервиса контроля или нет, и уже после этого обращается в платёжный шлюз.
Functional Suitability

🟢🟢

Security



🟢🟢
Reliability

🟠 Средняя (единая точка отказа)🟢 Высокая (отказ контроля не блокирует платёжный сервис, есть возможность fallback)

Scalability



🟢 Высокая (легко масштабируется отдельно от платёжных сервисов)🟢 Высокая (легко масштабируется отдельно от платёжных сервисов)

Agility



🟠 Средняя. Изменения в middleware применяются сразу ко всем сервисам, но и затрагивают весь трафик одновременно.🟠 Средняя (гибко управляется интеграция, проще тестировать и выкатывать изменения)
Complexity

🟠 Средняя. Требуется качественный middleware с высоким уровнем надёжности.🟠 Средняя. Отдельный сервис контроля прост в разработке, но требует явной интеграции в каждом сервисе.
Resource Utilization

🟠 Средняя. Middleware требует выделения и поддержки отдельной инфраструктуры с высокой доступностью.🟢 Высокая (чёткий контроль нагрузки и использование ресурсов)
Constrains

🟢🟢

Принятое решение

Т.к. драйвер надежности для нас наиболее критичен чем гарантированный контроль платежей, выбираем вариант 2

Уточнение принятого решения

Дизайнерские решение и расположениеОбоснование

На стороне компонента "Контроль платежей и переводов" необходимо реализовать админку с возможностью настройки правил остановки платежа.

Гибкая настройка правил позволит не вносить правки в платформу при изменении правил. А привил может быть много.

Контроль платежей и переводов временно оставляем в общем сервисе.

Соответствие принципу Service per team

Эскиз решения

Открытые вопросы

Мы проработали основные архитектурны риски, но не проработали компонент избранные платежи. Текущей проработки нам достаточно чтобы начать рефакторинг, а избранные платежи мы проработаем на одной из следующих итераций дизайна.

Оригинал на wiki