Bulkhead
Проблема
Распределенные приложения содержат большое количество сервисов, у каждого из которых есть один или несколько потребителей. Избыточная нагрузка на сервис или сбой повлияют на всех потребителей этого сервиса.
Кроме того, потребители могут отправлять запросы к нескольким сервисам одновременно, а каждый запрос использует некоторое количество ресурсов. Когда пользователь отправляет запрос к неправильно настроенному или неисправному сервису, выделенные для этого запроса ресурсы могут не освободиться своевременно. При этом запросы продолжают поступать, что может привести к полному исчерпанию ресурсов. Например, будут исчерпаны возможности пула клиентских подключений.
Эта же проблема нехватки ресурсов влияет и на сервисы с несколькими потребителями. Большое количество запросов от одного клиента может исчерпать все доступные сервису ресурсы. Тогда другие пользователи не смогут использовать сервис, что приводит к каскадному сбою.
Решение
Разделите экземпляры сервиса на несколько групп в соответствии с характером нагрузки от пользователей и требованиями доступности. Такой подход позволяет изолировать сбои, сохраняя работоспособность сервиса хотя бы для некоторых пользователей даже во время сбоя.
Аналогично можно разделить ресурсы для потребителя, чтобы вызовы к одному сервису не влияли на доступность ресурсов для вызова других сервисов. Например, если потребитель должен обращаться к нескольким сервисам, ему можно выделить отдельный пул подключений для каждого сервиса. Теперь, если однин из сервисов работает плохо, это повлияет только на пул подключений, назначенный для этого сервиса, что позволяет потребителю продолжать использовать другие сервисы.
Такая схема предоставляет следующие преимущества:
- Изоляция потребителей и сервисов от каскадных сбоев. Проблема, затрагивающая потребителя или сервис, будет изолирована в одном конкретном отсеке, а не обрушит все решение полностью.
- Вы сможете сохранить некоторую функциональность даже в случае сбоя сервиса. Другие сервисы и функции приложения продолжат работать.
- Вы сможете развертывать для приложений сервисы с разным качеством обслуживания. Например, пул высокоприоритетных потребителей будет использовать сервисы с высоким приоритетом.
На следующей схеме показаны отсеки, созданные для пулов подключений, которые обращаются к отдельным сервисам. При сбое или проблемах в сервисе A пул подключений к ней изолируется, и такой сбой влияет только на те рабочие нагрузки, которые используют пул потоков этой сервиса A. Рабочие нагрузки, использующие сервисы B и C, не затрагиваются и могут продолжать работу без перебоев.
На следующей схеме показано несколько клиентов, которые вызывают один сервис. Каждому клиенту назначен отдельный экземпляр этого сервиса. Здесь клиент 1 создал слишком много запросов и перегрузил свой экземпляр. Так как каждый экземпляр сервиса изолирован от других, остальные клиенты спокойно продолжают работать с этим сервисом.

