Architecture Course Home / Дополнительные материалы / Каталог архитектурных шаблонов / Каталог. Сырой список

Canary Testing

ОписаниеCanary Testing - это метод снижения риска внедрения новой версии в промышленную эксплуатацию путем предоставления изменения небольшому подмножеству пользователей с нарастанием до состояния, когда это изменение становится доступным для всех.
Позитивные драйверыReliability, Deployability, Testability
Негативные драйверыSimplicity

Преимущества

  • Канарское тестирование позволяет реальным пользователям «работать» с программным обеспечением так, как не может симулированное тестирование. Это позволяет организации, развертывающей сервис, собирать «используемые» данные и проводить контролируемые эксперименты с относительно низким риском.
  • Канарское тестирование требует минимальных дополнительных затрат на разработку, поскольку тестируемая система в любом случае находится на пути к продакшену.
  • Канарское тестирование сводит к минимуму количество пользователей, которые могут столкнуться с серьезным дефектом в новой системе.

Недостатки

  • Канарское тестирование требует дополнительного предварительного планирования и ресурсов, а также необходимо сформулировать стратегию оценки результатов тестов.
  • Если канареечное тестирование предназначено для опытных пользователей, этих пользователей необходимо идентифицировать и направить им новую версию.
Связанные шаблоны
Полезные ссылки

Проблема

Иногда менять все экземпляры сервиса нежелательно. Шаблоны частичного развертывания направлены на одновременное предоставление нескольких версий службы для разных групп пользователей. Canary Testing используется как контроль качества.

Решение

Перед выпуском новой версии целесообразно протестировать ее в производственной среде, но с ограниченным набором пользователей. Canary Testing — это аналог бета-тестирования с непрерывным развертыванием. Canary Testing маркирует небольшую группу пользователей, которые будут тестировать новую версию. Чаще всего это лояльные пользователи сервиса.

Trade-Offs

ПреимуществаНедостатки

Канареечное тестирование позволяет реальным пользователям «работать» с программным обеспечением так, как не может симулированное тестирование. Это позволяет организации, развертывающей сервис, собирать «используемые» данные и проводить контролируемые эксперименты с относительно низким риском.

Канареечное тестирование требует дополнительного предварительного планирования и ресурсов, а также необходимо сформулировать стратегию оценки результатов тестов.

Канареечное тестирование требует минимальных дополнительных затрат на разработку, поскольку тестируемая система в любом случае находится на пути к продакшену.

Если канареечное тестирование предназначено для опытных пользователей, этих пользователей необходимо идентифицировать и направить им новую версию.

Канареечное тестирование сводит к минимуму количество пользователей, которые могут столкнуться с серьезным дефектом в новой системе.


Оригинал на wiki