Reliability опросник
Сбой возникает, когда система больше не предоставляет услугу, соответствующую ее спецификации, и этот сбой может наблюдаться участниками системы. Неисправность (или комбинация неисправностей) может привести к сбою. Вопросы ниже позволит не допустить, чтобы неисправности превратились в сбои, или, по крайней мере, ограничить последствия неисправности и сделать возможным ремонт.
Опросник доступности служат одной из трех целей:
- обнаружение сбоев
- восстановление после сбоев
- предотвращение сбоев
| Группа вопросов | Вопрос | Поддерживается? Y/N | Риски | Дизайнерские решения и расположение | Обоснование и предположения |
|---|---|---|---|---|---|
| Обнаружение сбоев | Используется ли мониторинг различных частей системы: процессоры, процессы, память, сеть, диски, приложения и тд для обнаружения сбоев? Мониторинг может обнаружить сбой или перегрузку в сети. | ||||
Используются ли механизмы опроса состояния системы? Например Heardbeat. Если мониторинг настроен на отслеживание системных ошибок, он может страдать проблемой "отсутствия трафика". Может сложиться впечатление о нормальной работе системы, хотя сама система не способна обрабатывать трафик. | |||||
Вероятны ли в вашей системе гонки? Используете ли вы механизмы синхронизации? Если используете то какие? Например:
| |||||
Если ваша система обменивается сообщениями, используете ли вы контрольные суммы для гарантии целостности сообщений? | |||||
| Если ваша система обменивается сообщениями, как вы гарантируете доставку сообщения между потребителями? | |||||
| Тестируете ли вы свою системы на соответствие ожидаемому сценарию? | |||||
| Обрабатываете ли вы системные исключения? | |||||
| Проверяете ли вы входные данные в вашу систему? | |||||
| Используете ли вы timeout там где возможны зависания процесса? | |||||
| Восстановление после неисправностей | |||||
Используете ли вы механизмы избыточности в своей системе? Например:
| |||||
| Используете ли вы транзакции для чтобы гарантировать восстановление состояния после сбоя? | |||||
| Доступны ли в вашей CI/CD механизмы отката на более старую, рабочую версию? | |||||
| Используете ли вы бэкапы БД для отката на более старую, рабочую версию? | |||||
| Используете ли вы retry для временных ошибок? | |||||
Способна ли ваша система игнорировать заведомо не легитимный трафик? Например:
| |||||
Применяете ли вы шаблоны graceful degradation чтобы снизить влияние внешних систем? | |||||
| Предотвратить неисправности | Может ли ваша система временно перейти в нерабочее состояние с целью уменьшений потенциальных сбоев? Например:
| ||||
| Используете ли вы транзакции для исключения несогласованности и гонки? | |||||
Используете ли вы алертинг при достижении пороговых значений при которых на систему пора начать пристально смотреть? Например:
| |||||
Расширяете ли вы набор компетенций вашей системы? Набор компетенций это набор состояний, в которых система "компетентна". Например деление на ноль находится за пределами компетенции работы большинства программ. Когда компонент вызывает исключение, это сигнализирует о том, что он обнаружил, что находится за пределами своего набора компетенции; по сути, он не знает, что делать, и бросает исключение. Увеличение набора компетенций компонента означает его разработку для обработки большего количества случаев (ошибок) - в рамках его нормальной работы. |