Canary Testing
Проблема
Иногда менять все экземпляры сервиса нежелательно. Шаблоны частичного развертывания направлены на одновременное предоставление нескольких версий службы для разных групп пользователей. Canary Testing используется как контроль качества.
Решение
Перед выпуском новой версии целесообразно протестировать ее в производственной среде, но с ограниченным набором пользователей. Canary Testing — это аналог бета-тестирования с непрерывным развертыванием. Canary Testing маркирует небольшую группу пользователей, которые будут тестировать новую версию. Чаще всего это лояльные пользователи сервиса.
Trade-Offs
| Преимущества | Недостатки |
|---|---|
Канареечное тестирование позволяет реальным пользователям «работать» с программным обеспечением так, как не может симулированное тестирование. Это позволяет организации, развертывающей сервис, собирать «используемые» данные и проводить контролируемые эксперименты с относительно низким риском. | Канареечное тестирование требует дополнительного предварительного планирования и ресурсов, а также необходимо сформулировать стратегию оценки результатов тестов. |
Канареечное тестирование требует минимальных дополнительных затрат на разработку, поскольку тестируемая система в любом случае находится на пути к продакшену. | Если канареечное тестирование предназначено для опытных пользователей, этих пользователей необходимо идентифицировать и направить им новую версию. |
Канареечное тестирование сводит к минимуму количество пользователей, которые могут столкнуться с серьезным дефектом в новой системе. |
