Throttling
Проблема
Нагрузка на приложение обычно меняется со временем в зависимости от количества активных пользователей или типов выполняемых ими действий. Например, больше пользователей, вероятно, будут активны в рабочее время, или от системы может потребоваться выполнение дорогостоящей аналитики в конце каждого месяца. Также могут быть внезапные и непредвиденные всплески активности. Если требования системы к обработке превышают возможности доступных ресурсов, она будет страдать от низкой производительности и даже может выйти из строя. Если система должна соответствовать согласованному уровню обслуживания, такой сбой может быть недопустимым.
Существует множество стратегий обработки различной нагрузки в облаке в зависимости от бизнес-целей приложения. Одна из стратегий заключается в использовании автомасштабирования для согласования предоставленных ресурсов с потребностями пользователя в любой момент времени. Это позволяет постоянно удовлетворять потребности пользователей при оптимизации эксплуатационных расходов. Однако, хотя автоматическое масштабирование может инициировать выделение дополнительных ресурсов, это выделение происходит не сразу. Если спрос быстро растет, может быть временное окно, когда возникает дефицит ресурсов.
Решение
Стратегия, альтернативная автомасштабированию, состоит в том, чтобы разрешить приложениям использовать ресурсы только до определенного предела, а затем регулировать их по достижении этого предела. Система должна отслеживать, как она использует ресурсы, чтобы, когда использование превышает пороговое значение, она могла регулировать запросы от одного или нескольких пользователей. Это позволит системе продолжать функционировать и соответствовать всем существующим соглашениям об уровне обслуживания (SLA).