Практический пример: Рефакторинг платежей
В данном примере мы разберем рефакторинг. Доводить до состояние когда рефакторинг "жизненно необходим" для будущего проекта не в коем случае нельзя, но такое как правило происходит.
Основными драйверами рефакторинга могут служить:
- отсутствие контроля тех. долга
- изменение верхнеуровневых целей компании влияющих на ключевые атрибуты качества
- отказ от какой-то технологии
В данном ADR раунду 3-4 могут быть выделены отдельными ADR, но в целях экономии бумаги мы разберем всё за одну итерацию.
Глоссарий
- PG - Платежный шлюз
- Notification Center - Система отправляющая уведомления пользователю по одному из настроенных каналов: email, смс, push\
- SSO - Пользовательская аутентификация
- RoleApp - Система хранения конфигурации прав доступа
- ВЭД - Система/продукт валютных переводов
- Зарплатка - Система/продукт зарплатных выплат
Пользователь = Пользователь личного кабинета
- пользователь зарплатного продукта
- пользователь валютных операций
- финансовый директор
- штатный сотрудник компании
Контекст
Формулировка проблемы
Банк предоставляет продукты для юридических лиц. Один из продуктов "Платежи и переводы". Продукт давно и активно разрабатывался, но в какое-то время доработки стали слишком долгими. Продукт уже не мог успевать за конкурентами.
Команда бизнеса и разработки приняли решение переписать продукт так чтобы он начал удовлетворять целям компании.
Окружение проблемы
В данном сценарии рассматривается банк с активной пользовательской базой в 500к пользователей, с перспективами роста до 1кк. Банк давно на рынке с устаявщейся культурой и процессами разработки. В банке постоянно запускаются новые продукты. Большое разнообразие PaaS. Имеются принципы и стандарты разработки. Разработка ведется предпочтительно в крос-функциональных, продуктовых командах использую гибкие методологии Agile.
Надёжность
Наше окружение бесплатно предоставляет нам высокую дотступность наших решений:
- Высоко-доступные БД
- Все наши приложения деплоятся в Высоко-доступное окружение
- Все приложения разворачиваются с высокой избыточностью
- Ошибки на приложениях определяются и проблемные экземпляры выводятся из эксплуатации
Наша задача минимизировать проблемы связанные с отказами внешних (для проектируемой системы) компонет.
Безопастность
Наша инфраструктура бесплатно даёт нам системы:
- пользовательской аутентификации и авторизации
- межсервисной аутентификации и авторизации
- защиту от DDoS атак
Проблемы безопастности не будет затрагиваться на этом этапе проектирования.
Диаграмма контейнеров системы
Цель
Система платежей в самообслуживании банка перестала удовлетворять требованиям заказчика в скорости доработок нового функционала. Необходимо переосмыслить систему:
- перераспределить уже имеющиеся функциональности ближе к заинтересованным сторонам
- оставить всю имеющуюся функциональность на момент рефакторинга
- ускорить доставку ценности для новых функциональностей
Требования, ограничения и сценарии атрибутов качества
Функциональные требования (ФТ)
ID | Описание требования | Заказчик | Приоритет (H/M/L) |
|---|---|---|---|
| FR-001 | Пользователь хочет совершать перевод по банковским реквизитам, чтобы оплачивать счета и выполнять обязательства перед контрагентами. | Технолог. Вася Пупкин | H |
| FR-002 | Пользователь хочет совершать перевод с карты на карту, чтобы быстро переводить деньги контрагентам или сотрудникам. | Технолог. Вася Пупкин | H |
| FR-003 | Пользователь хочет совершать перевод по системе быстрых платежей (СПБ), чтобы моментально перечислять деньги контрагентам или партнерам. | Технолог. Вася Пупкин | H |
| FR-004 | Пользователь хочет просматривать ленту платежей, чтобы видеть все совершённые операции в одном месте и контролировать движение средств. | Технолог. Вася Пупкин | H |
| FR-005 | Пользователь хочет добавлять платежи в избранное, чтобы быстро выполнять повторяющиеся платежи. | Технолог. Вася Пупкин | H |
| FR-006 | Пользователь хочет создавать платежи из избранного, чтобы не вводить повторно одни и те же реквизиты. | Технолог. Вася Пупкин | H |
| FR-007 | Пользователь хочет просматривать реквизиты платежа, чтобы убедиться в правильности указанных данных перед отправкой. | Технолог. Вася Пупкин | H |
| FR-008 | Пользователь зарплатного продукта хочет формировать зарплатный реестр, чтобы централизованно выплачивать зарплату сотрудникам. | Технолог. Вася Пупкин | H |
| FR-009 | Пользователь зарплатного продукта хочет совершать перевод по сформированному зарплатному реестру, чтобы упростить массовые выплаты сотрудникам. | Технолог. Вася Пупкин | H |
| FR-010 | Пользователь валютных операций хочет совершать валютные переводы, чтобы оплачивать счета зарубежным партнерам или контрагентам. | Технолог. Вася Пупкин | H |
| FR-011 | Финансовый директор хочет запретить проведение платежа без его подтверждения, чтобы предотвратить ошибочные или нежелательные переводы. | Технолог. Вася Пупкин | H |
| FR-012 | Финансовый директор хочет подтверждать проведение платежей вручную, чтобы иметь контроль над движением денежных средств. | Технолог. Вася Пупкин | H |
| FR-013 | Сотрудник валютного контроля хочет запрашивать дополнительные документы для проведения платежа, чтобы обеспечить юридическую безопасность и соответствие регуляторным требованиям. | Технолог. Вася Пупкин | H |
Нефункциональные требования (НФТ)
ID | Связанные сценарии | Описание требования | Заказчик | Приоритет (H/M/L) | Влияние на архитектуру (H/M/L) |
|---|---|---|---|---|---|
| Security | |||||
| NFR-001 | Все | Пользователь может поучить данные только той компании в которой является сотрудником | ИБ. Саша Пуговкин | H | L |
| NFR-002 | Все | Сотрудник поддержки может получить данные к любой компании | ИБ. Саша Пуговкин | H | L |
| NFR-003 | Все | Внутренние системы должны использовать механизмы аутентификации и авторизации для доступа к системе | ИБ. Саша Пуговкин | M | L |
| Reliability | |||||
| NFR-004 | FR1, FR2, FR3, FR9, FR10 | Недоступность одного платежного метода не должна влиять на другой | SRE. Петя Яковлев | H | M |
| NFR-005 | FR1, FR2, FR3, FR9, FR10 | В случае недоступности платежного шлюза система должна выдавать понятное сообщение об ошибки | SRE. Петя Яковлев | M | L |
| NFR-006 | FR1, FR2, FR3, FR9, FR10 | Проведение платежей должно быть доступно в 99.9% времени | SRE. Петя Яковлев | H | H |
| NFR-007 | FR4 | Просмотр ленты платежей должен быть доступен в 99.8% времени | SRE. Петя Яковлев | H | M |
| Scalability/Performance | |||||
| NFR-008 | FR1, FR2, FR3, FR9, FR10 | Система должна выдерживать нагрузку 100к DAU | Технолог. Вася Пупкин | H | M |
| NFR-009 | FR1, FR2, FR3, FR9, FR10 | К 2026 г. DAU должно увеличиться до 200к. Система должна предсказуемо масштабироваться. | Технолог. Вася Пупкин | H | M |
| NFR-010 | FR4 | Система должна хранить данные не исполненные платежи в течении 5 лет (предполагаемый объём данных 2 тб) | Технолог. Вася Пупкин | M | M |
| Agility | |||||
| NFR-011 | FR1, FR2, FR3, FR9, FR10 | Доработки логики конкретного типа платежи должно не выходить за пределы одной команды разработки | Технолог. Вася Пупкин | M | H |
| NFR-012 | Добавление нового типа платежа не должно существенно влиять на уже существующие типы платежей | Технолог. Вася Пупкин | M | H |
Ограничения
ID | Описание требования | Заказчик | Влияние на архитектуру (H/M/L) |
|---|---|---|---|
| CON-001 | Корпоративные стандарты (IT как Lego)
| IT как LEGO | L |
| CON-002 | Старый функционал не должен пострадать в результате рефакторинга | Технолог. Вася Пупкин | L |
| CON-003 | Текущая команда пишет на Scala. Хотябы одна команда после рефакторинга должна остаться на scala | Технолог. Вася Пупкин | L |
Выделение архитектурно значимых требований
ID | Описание требования | Причина ASR |
|---|---|---|
NFR-004 | Недоступность одного платежного метода не должна влиять на другой | Влияние на надежность |
| NFR-006 | Проведение платежей должно быть доступно в 99.9% времени | Влияние на надежность |
| NFR-007 | Просмотр ленты платежей должен быть доступен в 99.8% времени | Влияние на надежность |
| NFR-008 | Система должна выдерживать нагрузку 100к DAU | Влияние на масштабируемость |
| NFR-009 | К 2026 г. DAU должно увеличиться до 200к. Система должна предсказуемо масштабироваться. | Влияние на масштабируемость |
| NFR-011 | Доработки логики конкретного типа платежи должно не выходить за пределы одной команды разработки | Влияние на гибкость |
| NFR-012 | Добавление нового типа платежа не должно существенно влиять на уже существующие типы платежей | Влияние на гибкость |
Решение
Раунд 1. Функциональная декомпозиция
Цель раунда
Определить функциональные компоненты системы
Драйверы: Все функциональные требования.
Элемент для проработки
Вся система
Концепции проектирования
На самом деле до начала декомпозиции мы уже видим проблемы в текущем дизайне:
- Мы знаем, что продукт ВЭД контрибьютит в систему платежей
- Мы знаем, что зарплатный проект просит доработки от платежей по функционалу зарплатных реестров
Эти вводные уже хорошая отправная точка, но пойдём глубже и визуализируем проблему.
Начнем с сценариев использования.
Более подробно о функциональной декомпозиции я рассказываю в курс Архитектурные шаблоны
Выделим согласованные сценарии использования
На рисунке выше разными цветами выделили сценарии тесно связанные друг с другом.
Сгруппируем эти сценарии и построим связи между ними, получили компонентную диаграмму.
Из диаграммы видно, что большинство наших компонент не связанны друг с другом, но есть три компонента (лента платежей, избранное, контроль платежей и переводов) от которых зависят все остальные компоненты системы. Эта информация нам пригодиться в будущем.
Эскиз решения
| Компонент | Ответственность |
|---|---|
| Перевод по реквизитам | Компонент отвечает за перевод платежа по реквизитам |
| С карты на карту | Компонент отвечает за перевод платежа с карты на карту |
| Перевод по СПБ | Компонент отвечает за переводы по СПБ |
| Зарплатный проект | Продукт для зарплатных клиентов банка |
| ВЭД | Под ВЭД попадает любой функционал попадающие под критерии ВЭД |
| Лента платежей | Лента платежей отображает все платежи по любому из типов платежей:
|
| Избранные платежи | Балванки платежей созданные из исполненных платежей |
| Контроль платежей и переводов | Компонент способный приостановить перевод и продолжить его. Остановка платежа происходит автоматически по заданным правилам. Проведение такого платежа может только финансовый директор. |
Раунд 2. Выбор базового стиля проектирования
Цель раунда
На этом раунде проработаем драйверы гибкости и надежности т.к. в основном они будут влиять на архитектурный стиль.
Драйверы: NFR-004, NFR-011, NFR-012
Элемент для проработки
Вся система
Выявление альтернатив и анализ компромиссов (trade-off)
Качество (utility tree) | ID | Архитектурный драйвер | Модульный монолит | Микросервисы |
|---|---|---|---|---|
| Functional Suitability | 🟢 | 🟢 | ||
Security | 🟢 | 🟢 | ||
| Reliability | NFR-004 | Недоступность одного платежного метода не должна влиять на другой | 🟠 Ошибки локализуются, но есть риски развертывания. | 🟢 Полная изоляция ошибок. |
Scalability | 🟠 Средняя (масштабирование проще, но ограничено). | 🟢 Высокая (гибкое масштабирование). | ||
Agility | NFR-011 | Доработки логики конкретного типа платежи должно не выходить за пределы одной команды разработки | 🟠 Высокая независимость разработки, но требует высокой архитектурной зрелости от команды. | 🟢 Высокая независимость и гибкость |
| NFR-012 | Добавление нового типа платежа не должно существенно влиять на уже существующие типы платежей | 🟠 Высокая независимость разработки, но требует высокой архитектурной зрелости от команды. | 🟢 Высокая независимость и гибкость | |
| Complexity | 🟠 Средняя (требуется дисциплина и архитектурный контроль). | 🔴 Высокая (большая инфраструктура, сложности интеграции и эксплуатации, отсутствие транзакционной модели). | ||
| Resource Utilization | 🟢 Высокая (низкие накладные расходы). | 🟠 Средняя (высокие инфраструктурные расходы). | ||
| Constrains | 🟢 | 🟢 |
Принятое решение
Оба перечисленных варианта имеют свои преимущества и недостатки, поэтому при рефакторинге мы будем использовать их в зависимости от контекста. Наш базовый принцип — Service per team. Если функционал полностью принадлежит одной команде, он должен находиться в пределах одного сервиса (декомпозиция допускается только при очевидной необходимости и четком понимании её преимуществ). Если же модули находятся в зонах ответственности разных команд, они реализуются как отдельные сервисы.
Уточнение принятого решения
| Компонент | Ответственность |
|---|---|
Исходящие платежи
Выделим один микросервис под три поддомена. Это может показаться странным, противоречивым и не соответствовать концепции микросервисов, но мы не сторонники преждевременных решений и придерживается принципи декомпозиции Service Per Team. Service per team говорит, что каждый сервис принадлежит команде, которая несет единоличную ответственность за внесение изменений. В идеале у каждой команды есть только один сервис и дальнейшие причины декомпозиции должны быть обоснованны реальными проблемами. Сервис является оптимальным пока когнитивных способностей команды хватает для осознания сервиса. | Платежи |
ВЭД Команда ВЭД у нас уже существует и как она перенесет себе свой функционал выходит за предел этой итерации проектирования: будет ли это отдельный сервис или это будет модуль какого-то сервиса. | ВЭД |
Зарплатка Команда зарплатного проекта у нас тоже существует, как она перенесет себе свой функционал выходит за пределы этой итерации проектирования. | Salary |
Платформа платежей
На текущем этапе предпочту держать эти компоненты совместно. Объем функционала не выглядит сильно большим и найм второй команды нам никто не открывал. Реализуем дульный микросервис Service per team. | Платформа платежей |
Стадии рефакторинга
| Дизайнерские решение и расположение | Обоснование |
|---|---|
Начнем наш рефакторинг с структурированию того, что есть в пределах нашего монолита. Это будет первый шаг к разделению функциональностей. Ответственность команды "Платежи" | Рефакторинг сложный процесс и требует глубокого погружения и анализа кода. Постепенный переход от монолитной структуры позволит не останавливая бизнес проводить реыакторинг. В противном случае нам придётся поддерживать две кодовые базы одновременно. |
На следующем шаге передадим часть кодовой базу тем командам которые отвечают за конкретный домен: зарплатка, ВЭД Ответственность команды "Платежи" | Перенос кода ближе к продукту позволит начать развивать этот продукт. Перенос данных сложный процесс и мы его оставим на последний шаг. |
На последнем шаге рефакторинга разъедемся данными. Эта самый сложный этап связанный с согласованностью и транзакционностью (в случае необходимости) Ответственность команды "Платежи" | Для полной развязанности продуктов требуется разнести и данные. Данные могут быть узким местом по множеству причин:
|
Раунд 3. Реализация ленты платежей
Цель раунда
Для этой итерации выберем два сценария атрибута качества важных для ленты платежей:
- доступность
- модифицируемость
Драйверы: NFR-007, NFR-011
Элемент для проработки
Лента платежей
Выявление альтернатив и анализ компромиссов (trade-off)
Качество (utility tree) | ID | Архитектурный драйвер | Лента платежей синхронно вызывает методы получения ленты каждого из платежных методов. | Лента платежей асинхронно получает изменения о состоянии платежей в асинхронном режиме |
|---|---|---|---|---|
| Functional Suitability | 🟢 | 🟢 | ||
Security | 🟢 | 🟢 | ||
| Reliability | NFR-007 | Просмотр ленты платежей должен быть доступен в 99.8% времени | 🔴 Низкая. Отказ одного сервиса приводит к проблемам всей ленты. Сложность отладки, трудно определить точку сбоя. | 🟢 Высокая. Доступность ленты не зависит от внешних сервисов. |
Scalability | 🔴 Низкая. Сложность масштабирования растёт с числом сервисов и нагрузкой. | 🟢 Высокая. Легко масштабировать отдельную read-базу, минимально влияет рост числа источников. | ||
Agility | NFR-011 | Доработки логики конкретного типа платежи должно не выходить за пределы одной команды разработки | 🟠 Средняя. Требуется много согласований форматов API и взаимодействия. | 🟢 Высокая. Удобно менять формат ленты, не затрагивая источники. |
| Complexity | 🟠 Средняя. Простота реализации, но сложность растёт с числом платежных методов. | 🔴 Высокая. Требует организации репликации, проработка механизма гарантированной доставки, обнаружения потерянных сообщений. | ||
| Resource Utilization | 🔴 Низкая. Высокие сетевые расходы и неоптимальная нагрузка на сервисы. | 🟢 Высокая. Эффективное использование ресурсов (минимум синхронных вызовов). | ||
| Constrains | 🟢 | 🟢 |
Принятое решение
Вариант 1 не удовлетворяет большинству наших критериев
Вариант 2 решает архитектурные драйверы выбранные на эту итерацию, но и приносит нам новые проблемы которые нам предстоит решить:
- гарантии доставки
- обнаружение потерь сообщений
- план доката в случае потери
Уточнение принятого решения
| Дизайнерские решение и расположение | Обоснование |
|---|---|
В качестве шины событий будем использовать Kafka как стандарт в компании
Ответственная команда "Платформа платежей" | Такая конфигурация гарантирует нам попадание и хранения события на стороне брокера |
Использовать outbox на всех платежных методах для гарантии отправки сообщения Kafka | Шаблон outbox гарантирует нам отправку сообщения в очередь. В противном случае мы рискуем получить несогласованность. |
При отправке сообщения в очередь используется парамерт acks=all. Это и min.insync.replicas 2 гарантируют нам долговечную запись на брокере Ответственная команда "Все платежные методы" | Такая конфигурация гарантирует фиксацию события минимум на двух репликах брокера. |
На стороне платформы платежей НЕ используем авто. подтверждение обработки сообщений. В ручную фиксируем сообщение после гарантированной записи в БД | Так мы закрываем риск отсутствия записи в локальное хранилище. |
Описать общий контракт сообщения для всех платежных методов. Расширение этого контракта не должно ломать ленты платежей и платежные методы. Асинхронный контракт ленты платежей:
Ответственная команда "Платформа платежей" | Неправильный контракт может стать узким местом в эволюционности продуктов. Контракт должен быть мягким/полумягким. |
Эскиз решения
Раунд 4. Реализовать контроль платежей и переводов
Цель раунда
На этом раунде нам необходимо понять как расположить "Контроль платежей и переводов" в нашей системе.
Дизайн микросервисов принёс нам новый архитектурный драйвер. Контроль платежей и переводов в распределенной системе становится не тривиальной задачей.
Элемент для проработки
Контроль платежей и переводов
Выявление альтернатив и анализ компромиссов (trade-off)
Качество (utility tree) | ID | Архитектурный драйвер | Промежуточный слой (Middleware)
| Отдельный сервис контроля:
|
|---|---|---|---|---|
| Functional Suitability | 🟢 | 🟢 | ||
Security | 🟢 | 🟢 | ||
| Reliability | 🟠 Средняя (единая точка отказа) | 🟢 Высокая (отказ контроля не блокирует платёжный сервис, есть возможность fallback) | ||
Scalability | 🟢 Высокая (легко масштабируется отдельно от платёжных сервисов) | 🟢 Высокая (легко масштабируется отдельно от платёжных сервисов) | ||
Agility | 🟠 Средняя. Изменения в middleware применяются сразу ко всем сервисам, но и затрагивают весь трафик одновременно. | 🟠 Средняя (гибко управляется интеграция, проще тестировать и выкатывать изменения) | ||
| Complexity | 🟠 Средняя. Требуется качественный middleware с высоким уровнем надёжности. | 🟠 Средняя. Отдельный сервис контроля прост в разработке, но требует явной интеграции в каждом сервисе. | ||
| Resource Utilization | 🟠 Средняя. Middleware требует выделения и поддержки отдельной инфраструктуры с высокой доступностью. | 🟢 Высокая (чёткий контроль нагрузки и использование ресурсов) | ||
| Constrains | 🟢 | 🟢 |
Принятое решение
Т.к. драйвер надежности для нас наиболее критичен чем гарантированный контроль платежей, выбираем вариант 2
Уточнение принятого решения
| Дизайнерские решение и расположение | Обоснование |
|---|---|
На стороне компонента "Контроль платежей и переводов" необходимо реализовать админку с возможностью настройки правил остановки платежа. | Гибкая настройка правил позволит не вносить правки в платформу при изменении правил. А привил может быть много. |
Контроль платежей и переводов временно оставляем в общем сервисе. | Соответствие принципу Service per team |
Эскиз решения
Открытые вопросы
Мы проработали основные архитектурны риски, но не проработали компонент избранные платежи. Текущей проработки нам достаточно чтобы начать рефакторинг, а избранные платежи мы проработаем на одной из следующих итераций дизайна.





