Architecture Course Home

Асинхронный процессинг

При рассмотрении Event-Driven Architecture мы сознательно опустили реализацию брокеров сообщений. Эта сложная система которую стоит рассмотреть подробно в разрезе проблем распределенных систем.

Базовая модель

Для реализации асинхронного взаимодействия в распределенных системах используется асинхронный обмен сообщениями. В качестве связующего звена между сервисами используется брокер сообщений, хотя возможна архитектура и без брокера, когда  сервисы взаимодействуют друг с другом напрямую.  Клиент шлет серверу запрос в виде сообщения. В случае необходимости ответа сервер отправляет отдельное сообщение клиенту. При этом клиент не блокируется в ожидании ответа, он написан с расчетом на то, что ответ может прийти не сразу. 


Сообщение

Сообщение состоит из заголовка и тела.  Заголовок - набор пар ключ/значение, содержит набор метаданных, описывающих отправляемую информацию. В заголовке так же может содержаться идентификатор сообщения и необязательный обратный адрес канала, куда следует отправить ответ. Тело сообщения - это данные, которые необходимо отправить. Они могут иметь текстовый или двоичный формат. 

Существует несколько видов сообщений:

Канал

Для передачи сообщений используется каналы. Существует два вида каналов:

Брокеры сообщений

Брокер - инфраструктурный компонент, используемый для отправки и получения сообщений. Архитектура обмена сообщениями может и не иметь брокера, в этом случае сервисы взаимодействуют между собой напрямую. 

Одним из примеров подхода без брокера является проект ZeroMQ.

Отсутствие брокера дает следующие преимущества 

При этом возникают следующие проблемы

Из за этих ограничений большинство промышленных систем используют архитектуру с брокером сообщений. 

Реализация популярных шаблонов

Рассмотрим реализацию двух основных стилей взаимодействия с использованием асинхронного обмена сообщениями

Request/reply

Для реализации данного стиля взаимодействия клиент и сервер могут обмениваться парными сообщениями. Клиент отправляет в канал, принадлежащий серверу, команду, с указанием операции и ее параметров. Сервер обрабатывает запрос и возвращает в канал, пренадлежащий клиенту, ответное сообщение с результатом. 

В рамках конкретной реализации необходимо ответить на ряд вопросов, а именно

Publish/subscribe

Асинхронный обмен сообщениями имеет встроенную поддержку данного стиля взаимодействия. Клиент публикует в канале типа "издатель-подписчик" сообщение, которое считывается несколькими потребителями. Сервисы используют этот стиль взаимодействия для публикации доменных событий об изменении в доменных объектах. 

Реализации брокеров

Существуют большое количество реализаций брокеров, среди них выделяются

Факторы, влияющие на выбор брокера сообщений

Реализация каналов сообщений

Существуют различные подходы к реализации концепции каналов.

Практически все брокеры поддерживают каналы типа точка-точка и публикация-подписка

Модели доставки сообщений

Большинство брокеров поддерживает в том или ином виде следующие модели доставки сообщений

Push

Pull

Гарантии доставки 

Гарантированная доставка сообщений является важным свойством брокера и может играть ключевую роль при разработки системы. Рассмотрим основные гарантии доставки, предоставляемые популярными брокерами

At-most-once доставка:

At-least-once доставка:

Exactly once:

По факту exactly once не достижим и вместо него используется at-least-once + idempotent consumer


Конкурирующие потребители и порядок следования сообщений

В рамках масштабирования мы можем развернуть несколько экземпляров потребителей для параллельной обработки сообщений. Одной из проблем в данном случае становиться гарантия порядка сообщений: отправленные сообщения могут быть равномерно распределены между конкурирующими потребителями и обработаны не в том порядке, в котором они были отправлены, что может привести к состояниям гонки и другим сложно-обнаруживаемым ошибкам. Одним из решений может быть использование партиционированных каналов и групп потребителей, где сообщения с одинаковым ключом отправляются в одну и ту же партицию и могут быть прочитаны только одним потребителем в рамках группы с гарантией порядка сообщений.

Преимущества

Одним из преимуществ  асинхронного взаимодействия является отсутствие блокировки между клиентом и сервером. При синхронном вызове клиент, как правило, открывает сетевое соединение с сервером, отправляя запрос. Соединение остается открытым, пока сервер не ответит, что, в случае долгой работы сервера или сетевых задержек, может может привести к длительной блокировке и пустому расходованию ресурсов клиента. Более того, для осуществления вызова клиенту необходима доступность сервера. Если по каким-то причинам (сервер перезапустился, сетевые сбои) этого не происходит, клиент не может продолжить работу. В случае с асинхронным взаимодействия клиент отправляет сообщение в брокер и может продолжать дальнейшее выполнение процесса на своей стороне. Временная связанность между клиентом и сервером так же отсутствует: в случае недоступности сервера, сообщение будет сохранено в брокере и передано серверу при его дальнейшем подключении.

Асинхронный процессинг может быть весьма эффективным приемом сокращения времени отклика системы, особенно в случае наличия длительного процесса подготовки ответа от сервера, поскольку вместо ожидания всех этапов выполнения, пользователь может получить уведомление  том, что процесс запущен и продолжить дальнейшую работу с системой.

Недостатки

Основными недостатками асинхронного взаимодействия являются сильное повышение сложности и небоходимость использования дополнительных компонентов (брокеров) для его реализации, что может сильно усложнить разработку, особенно при отсутствии у команды опыта работы с теми или иными технологиями. 

Так же стоит отметить, что переход к асинхронному взаимодействию подразумевает так же проработку способа уведомления пользователя об успешном/не успешном выполнении/завершении процесса. Это могут быть, например, уведомления, возникающие по завершении одного из этапов процесса или еще какие-то визуальные элементы, помогающие понять, что процесс запущен и успешно выполняется. 

Когда использовать

Несмотря на описанные выше сложности, асинхронный процессинг может помочь в создании отзывчивых и устойчивых систем, которые сложно построить при использовании синхронного взаимодействия, особенно, когда речь идет о длительных процессах на стороне сервера.  Например, рассмотрим процесс подготовки банковской выписки за определенный период времени. Выписка представляет из себя документ, например в формате PDF, содержащая операции пользователя за указанный период. Количество операций может быть очень большим (500-600К), за определенный период и в случае синхронного процессинга пользователю придется ждать загрузку операций (от 20-30 ms до10-15 sec в зависимости от их количества), длительный этап подготовки самого документа (до 2-3 min), сохранение готового документа в объектное хранилище и т д. Все это может привести к длительному ожиданию, падениям по тайм-аут-у и недовольству со стороны пользователя.

Вместо этого мы можем немного переделать сам процесс подготовки документа и вместо того, что бы сразу же бросаться готовить документ, мы можем принять сохранить запрос пользователя со всеми параметрами выписки (например в виде заказа на выписку) и сразу же вернуть уведомление о начале подготовки заказа (HTTP 204 и сообщить, что выписка скоро будет готова на стороне клиента). Этапы подготовки выписки могут быть отражены в статусах заказа, обновляемых с использованием обратных вызовов от сервера (polling, web-socket), видимых пользователю.  Выполнив все этапы подготовки, мы можем отправить уведомление о готовности выписки и предоставить возможности для ее скачивания из объектного хранилища.

Оригинал на wiki