Практический пример: Платежные выписки/Выбор БД
Эта ADR пример внесения постепенный изменений в существующую архитектуру. Такие изменения как правила связаны с циклом обратной связи от потребителя или работы с тех. долгом.
Глоссарий
- Выписки - это сервис для формирования юридически значимых документов по платежным операциям пользователя или компании, которые можно использовать для подтверждения транзакций, отчетности и анализа финансовой активности.
- DBaaS - базы данных как сервис.
Контекст
Формулировка проблемы
На первой итерации мы предположили, что можем хранить в PostgreSQL объем данных в 5 тб. После общения с платформой выяснилось, что они не дают никаких гарантий доступности такой инсталяции.
Окружение проблемы
В данном сценарии рассматривается банк с активной пользовательской базой в 500к пользователей, с перспективами роста до 1кк. Банк давно на рынке с устаявщейся культурой и процессами разработки. В банке постоянно запускаются новые продукты. Большое разнообразие PaaS. Имеются принципы и стандарты разработки. Разработка ведется предпочтительно в крос-функциональных, продуктовых командах использую гибкие методологии Agile.
Надёжность
Наше окружение бесплатно предоставляет нам высокую дотступность наших решений:
- Высоко-доступные БД
- Все наши приложения деплоятся в Высоко-доступное окружение
- Все приложения разворачиваются с высокой избыточностью
- Ошибки на приложениях определяются и проблемные экземпляры выводятся из эксплуатации
Наша задача минимизировать проблемы связанные с отказами внешних (для проектируемой системы) компонет.
Безопастность
Наша инфраструктура бесплатно даёт нам системы:
- пользовательской аутентификации и авторизации
- межсервисной аутентификации и авторизации
- защиту от DDoS атак
Проблемы безопастности не будет затрагиваться на этом этапе проектирования.
Цель
На первой итерации мы предположили, что можем хранить в PostgreSQL объем данных в 5 тб. После общения с платформой выяснилось, что они не дают никаких гарантий доступности такой инсталяции.
Цель. проектирования будет повторный анализ БД с имеющимеся новыми вводными по ограничениям платформы.
Требования, ограничения и сценарии атрибутов качества
Функциональные требования (ФТ)
ID | Описание требования | Заказчик | Приоритет (H/M/L) |
|---|---|---|---|
Нефункциональные требования (НФТ)
ID | Связанные сценарии | Описание требования | Заказчик | Приоритет (H/M/L) | Влияние на архитектуру (H/M/L) |
|---|---|---|---|---|---|
| Scalability/Performance | |||||
| NFR-007 | Все | К 2026 г. DAU должно увеличиться до 100к. Система должна предсказуемо масштабироваться. | Технолог. Вася Пупкин | H | M |
| NFR-008 | FR-001, FR-002 | Система должна хранить данные за весь период (предположительный объем данных на 2026 г будет 6 тб. прирост данных каждый год 1 тб) | Технолог. Вася Пупкин | H | H |
| Agility | |||||
| NFR-012 | Все | Система должны быть лёгкой в расширении и сопровождении | Технолог. Вася Пупкин | M | Н |
Ограничения
ID | Описание требования | Заказчик | Влияние на архитектуру (H/M/L) |
|---|---|---|---|
| CON-001 | Корпоративные стандарты (IT как Lego)
| IT как LEGO | H |
| CON-002 | DBaaS не рекомендуют инсталяции больше 1 тб. Поддержка такой инсталяции ложиться на плечи команды разработки | DBaaS | H |
Выделение архитектурно значимых требований
ID | Описание требования | Причина ASR |
|---|---|---|
| NFR-007 | К 2026 г. DAU должно увеличиться до 100к. Система должна предсказуемо масштабироваться. | Влияние на масштабируемость |
| NFR-008 | Система должна хранить данные за весь период (предположительный объем данных на 2026 г будет 6 тб. прирост данных каждый год 1 тб) | Влияние на масштабируемость |
| NFR-012 | Система должны быть лёгкой в расширении и сопровождении | Влияет на гибкость БД |
| CON-001 | Корпоративные стандарты (IT как Lego)
| Ограничивает возможный дизайн |
| CON-002 | DBaaS не рекомендуют инсталяции больше 1 тб. Поддержка такой инсталяции ложиться на плечи команды разработки | Ограничивает возможный дизайн |
Решение
Раунд 1. Перевыбор БД
Цель раунда
Выбор БД
Драйверы: Все
Элемент для проработки
База данных
Выявление альтернатив и анализ компромиссов (trade-off)
Качество (utility tree) | ID | Архитектурный драйвер | PostgreSQL (без шардинга, >1 ТБ, полная ответственность команды) | PostgreSQL (шардированный вручную, инфраструктура платформы каждого отдельного экземпляра) | Cassandra |
|---|---|---|---|---|---|
| Functional Suitability | 🟢 | 🟢 | 🟢 | ||
Security | 🟢 | 🟢 | 🟢 | ||
| Reliability | 🔴 Низкая (полная ответственность команды, большие риски восстановления). | 🟢 Высокая (резервирование и восстановление обеспечено платформой на уровне инстансов). | 🟢 Высокая (распределённость, автоматическое восстановление, платформенная поддержка). | ||
Scalability | NFR-007 | К 2026 г. DAU должно увеличиться до 100к. Система должна предсказуемо масштабироваться. | 🟠 Средняя, под наши цели ограниченно масштабируется | 🟢 Высокая (горизонтально масштабируется, но управление шардированием вручную). | 🟢 Высокая (горизонтальное автоматическое масштабирование). |
| NFR-008 | Система должна хранить данные за весь период (предположительный объем данных на 2026 г будет 6 тб. прирост данных каждый год 1 тб) | 🟠 Средняя, 6 ТБ ещё можно поддерживать на мощном сервере | 🟢 Высокая (горизонтально масштабируется, но управление шардированием вручную). | 🟢 Высокая (горизонтальное автоматическое масштабирование). | |
Agility | NFR-012 | Система должны быть лёгкой в расширении и сопровождении | 🟠 Средняя (простые миграции, но вся инфраструктура и проблемы миграций ложатся на команду). | 🟠 Средняя (требуется ручное управление шардированием, сложность миграций выше). | 🔴 Низкая (схему данных и запросы нужно знать заранее, сложные миграции). |
| Complexity | 🟢 Низкая (один сервер, понятная схема данных, минимум инфраструктуры). | 🔴 Высокая (требуется реализация и поддержка механизмов шардинга, балансировка, ребалансировка и мониторинг). | 🟠 Средняя (платформа поддерживает инфраструктуру, но нужна экспертиза по модели данных и работе с Cassandra). | ||
| Resource Utilization | 🟠 Средняя, один дорогой сервер, но объём ещё управляемый | 🟠 Средняя (инфраструктура обеспечивается платформой, но часть ресурсов расходуется на механизмы шардинга). | 🟢 Высокая эффективность (commodity hardware, хорошее использование ресурсов). | ||
| Constrains | CON-001 | Корпоративные стандарты (IT как Lego)
| 🟢 | 🟢 | 🟢 |
| CON-002 | DBaaS не рекомендуют инсталяции больше 1 тб. Поддержка такой инсталяции ложиться на плечи команды разработки | 🔴 DBaaS не рекомендуют инсталяции больше 1 тб. Поддержка такой инсталяции ложиться на плечи команды разработки | 🟢 | 🟢 |
Принятое решение
1 откидывает т.к. уже сталкивались с сопровождением неплатформенных решений и это слишком дорого нам встало.
3 по прежнему не рассматриваем из-за высокого риска изменения требований к структуре отчета.
2 остаётся единственным вариантом удовлетворяющим наши требования. Однако у него есть ряд проблем которые необходимо решить на следующих раундах:
- продумать механизм балансировки между узлами
- необходимо выбрать алгоритм шардирования
- необходимо продумать механизм решардирования
Уточнение принятого решения
| Дизайнерские решение и расположение | Обоснование |
|---|---|
Поднимем 10 мастер PostgreSQL и 10 реплика. | Такая конфигурация позволит нам долгое время не думать о решардировании |
Раунд 2. Выбор механизма балансировки между узлами
Цель раунда
Проработка нового архитектурного драйвер с предидущего раунда
- механизм балансировки между узлами
Элемент для проработки
База данных
Выявление альтернатив и анализ компромиссов (trade-off)
Качество (utility tree) | ID | Архитектурный драйвер | Клиентская балансировка (Backend) | Самописный «умный» балансировщик | Проприетарный балансировщик |
| Functional Suitability | 🟢 | 🟢 | 🟢 | ||
|---|---|---|---|---|---|
Security | 🟢 | 🟢 | 🟢 | ||
| Reliability | 🟠 Средняя. Надежность зависит от качества кода backend. Ошибки могут приводить к сбоям. | 🔴 Низкая. Самописный инструмент не проверен в условиях высокой нагрузки, повышенные риски ошибок и отказов. | 🟢 Высокая. Проверенные механизмы, высокая надежность, стабильность решений. | ||
Scalability | 🟢 Высокая. Легко масштабировать масштабированием backend сервисов. | 🟠 Средняя. Масштабирование возможно, но требует отдельного внимания и доработок, т.к. решение самописное и изначально может не поддерживать горизонтальное масштабирование. | 🟢 Высокая. Готовое решение с автоматической поддержкой масштабируемости. | ||
Agility | 🟠 Средняя. Высокая гибкость конфигурации балансировки, но и риск запутанности высок. | 🟠 Средняя. Удобство настройки под свои нужды, но изменения и доработки потребуют дополнительных ресурсов команды. | 🟢 Высокая. Легкость внесения изменений и простота сопровождения за счет наличия документации и поддержки. | ||
| Complexity | 🟢 Низкая. Простая реализация. | 🔴 Высокая. Требует разработки, поддержки и эволюции собственного решения, есть риски сложности и ошибок. | 🟠 Средняя. Готовое решение, простая интеграция и наличие документации, но нет поддержки на уровне платформ | ||
| Resource Utilization | 🟢 Высокая эффективность, отсутствие дополнительных слоев инфраструктуры. | 🟠 Средняя. Дополнительные ресурсы на поддержку самописного решения. | 🟠 Средняя. Может требовать дополнительных ресурсов на лицензирование или поддержку инфраструктуры. | ||
| Constrains | 🟢 | 🟢 | 🔴 Низкая. Не поддерживается в компании. Нет экспертизы у соседних команд. |
Принятое решение
От решения 2 отказывается сразу т.к. он несет высокую неопределенность и риски реализации. Так же мы не понимаем кто еще его будет использовать.
Следом отказывается и от 3 варианта т.к. в компании нет успешных историй использования таких решений.
Выбираем вариант 1 как самый дешевый для продуктовой команды.
Раунд 3. Выбор алгоритма шардирования и решардирования
Цель раунда
Проработка оставшихся архитектурных драйверов с первого раунда
- необходимо выбрать алгоритм шардирования
- необходимо продумать механизм решардирования
Элемент для проработки
База данных
Выявление альтернатив и анализ компромиссов (trade-off)
Качество (utility tree) | ID | Архитектурный драйвер | Consistent hashing Ключи и шарды располагаются на кольце хешей. При добавлении или удалении шарда минимально изменяется маппинг ключей и шардов. | Rendezvous hashing Для каждого ключа вычисляется «вес» каждого шарда. Выбирается шард с максимальным весом. Минимум миграций при добавлении шарда. | Остаток от деления Шард = хеш(key) % кол-во шардов. Самый простой подход, но при изменении числа шардов приводит к массовым миграциям данных. |
| Functional Suitability | 🟢 | 🟢 | 🟢 | ||
|---|---|---|---|---|---|
Security | 🟢 | 🟢 | 🟢 | ||
| Reliability | 🟢 Высокая (минимальный объем миграций при изменениях). | 🟢 Высокая (минимальные миграции, хорошая стабильность). | 🔴 Низкая (большие риски при миграции большого объема данных). | ||
Scalability | 🟢 Высокая (легко масштабировать, добавлять/удалять шарды). | 🟢 Высокая (очень легко добавлять/удалять шарды, минимальные миграции). | 🔴 Низкая (добавление шарда вызывает огромные миграции данных). | ||
Agility | 🟢 Высокая (легко вносить изменения, добавлять шарды с минимальными миграциями). | 🟢 Высокая (ещё проще добавлять шарды, почти нет миграций). | 🔴 Низкая (любой рост или изменение количества шардов крайне болезненны). | ||
| Complexity | 🟠 Средняя/Высокая (необходимо понимание принципа кольца хешей). | 🟠 Средняя (понятный алгоритм, но сложнее в реализации). | 🟢 Низкая (очень простой алгоритм). | ||
| Resource Utilization | 🟢 | 🟢 | 🟢 | ||
| Constrains | 🟢 | 🟢 | 🟢 |
Принятое решение
Наш выбор падает на Rendezvous hashing. С точки зрения сложности реализации и возможным рискам это наилучший, для нас, выбор.
Уточнение принятого решения
| Дизайнерские решение и расположение | Обоснование |
|---|---|
В качестве хеш-функции используем XxHash64 из-за его плюсов: |
|
Хеш вычисляем по полям: company_id, agreement_number |
|