Асинхронный процессинг
При рассмотрении Event-Driven Architecture мы сознательно опустили реализацию брокеров сообщений. Эта сложная система которую стоит рассмотреть подробно в разрезе проблем распределенных систем.
Базовая модель
Для реализации асинхронного взаимодействия в распределенных системах используется асинхронный обмен сообщениями. В качестве связующего звена между сервисами используется брокер сообщений, хотя возможна архитектура и без брокера, когда сервисы взаимодействуют друг с другом напрямую. Клиент шлет серверу запрос в виде сообщения. В случае необходимости ответа сервер отправляет отдельное сообщение клиенту. При этом клиент не блокируется в ожидании ответа, он написан с расчетом на то, что ответ может прийти не сразу.
Сообщение
Сообщение состоит из заголовка и тела. Заголовок - набор пар ключ/значение, содержит набор метаданных, описывающих отправляемую информацию. В заголовке так же может содержаться идентификатор сообщения и необязательный обратный адрес канала, куда следует отправить ответ. Тело сообщения - это данные, которые необходимо отправить. Они могут иметь текстовый или двоичный формат.
Существует несколько видов сообщений:
- команда - сообщение, эквивалентное действию, которое необходимо выполнить
- событие - сообщение, фиксирующее завершение какого-либо процесса. Событие часто принадлежит определенному домену
- документ - обобщенное сообщение, содержащее только данные. Получатель сам решает как его интерпретировать
Канал
Для передачи сообщений используется каналы. Существует два вида каналов:
- канал "точка-точка": доставляет сообщения ровно одному потребителю который считывает их оттуда. Сам потребитель, как правило, обслуживает несколько клиентов. Этот тип канала хорошо подходит для отправки командных сообщений
- канал "издатель-подписчик": доставляет каждое сообщение всем подключенным потребителям. Может использоваться для реализации взаимодействия один ко многим. Этот тип канала хорошо подходит для рассылки событий
Брокеры сообщений
Брокер - инфраструктурный компонент, используемый для отправки и получения сообщений. Архитектура обмена сообщениями может и не иметь брокера, в этом случае сервисы взаимодействуют между собой напрямую.
Одним из примеров подхода без брокера является проект ZeroMQ.
Отсутствие брокера дает следующие преимущества
- более легковестный сетевой трафик и меньшие задержки, поскольку сообщения передаются напрямую от отправителя получателю без участия посредников
- брокер не станет единой точкой отказа
- не нужно настраивать и администировать брокер.
При этом возникают следующие проблемы
- сервисы должны знать местонахождение друг друга
- отправитель и получатель должны быть доступны для обмена сообщениями (временная связанность)
- сложно реализовать такие механизмы как гарантия доставки
Из за этих ограничений большинство промышленных систем используют архитектуру с брокером сообщений.
Реализация популярных шаблонов
Рассмотрим реализацию двух основных стилей взаимодействия с использованием асинхронного обмена сообщениями
- request/reply (one-to-one)
- publish/subscribe (one-to-many)
Request/reply
Для реализации данного стиля взаимодействия клиент и сервер могут обмениваться парными сообщениями. Клиент отправляет в канал, принадлежащий серверу, команду, с указанием операции и ее параметров. Сервер обрабатывает запрос и возвращает в канал, пренадлежащий клиенту, ответное сообщение с результатом.
В рамках конкретной реализации необходимо ответить на ряд вопросов, а именно
- как сервер узнает, в какой канал необходимо отправлять ответное сообщение?
- как на стороне клиента связать запрос и полученный ответ? Эта проблема не возникает при синхронном взаимодействии, поскольку клиент дожидается ответа от сервера. Как правило, используются идентификаторы в базе данных на стороне клиента, помогающие связать запрос и ответ.
Publish/subscribe
Асинхронный обмен сообщениями имеет встроенную поддержку данного стиля взаимодействия. Клиент публикует в канале типа "издатель-подписчик" сообщение, которое считывается несколькими потребителями. Сервисы используют этот стиль взаимодействия для публикации доменных событий об изменении в доменных объектах.
Реализации брокеров
Существуют большое количество реализаций брокеров, среди них выделяются
- Active MQ
- Rabbit MQ
- Apache Kafka (не совсем брокер, скорее распределенный лог сообщений)
Факторы, влияющие на выбор брокера сообщений
- поддерживаемые языки программирования: лучше выбрать брокер с поддержкой большого количества языков программирования (либо должна быть поддержка какого-то протокола прикладного уровня)
- порядок следования сообщений: может ли брокер гарантировать порядок следования сообщений?
- гарантии доставки: какие гарантии доставки дает брокер?
- хранение сообщений (durability): сможет ли брокер надежно хранить сообщения в случае недоступности потребителя
- масштабируемость (scalability): на сколько масштабируем брокер?
- задержка между отправкой и получением сообщения (latency)
- конкурирующие потребители: поддерживает ли брокер конкурирующих потребителей?
Реализация каналов сообщений
Существуют различные подходы к реализации концепции каналов.
- JSM-брокеры (ActiveMQ) содержат очереди (queue) и темы (topics)
ActiveMQ - брокеры (Rabbit) используют обменники (exchanges) и очереди
- Kafka - реализует топики
Практически все брокеры поддерживают каналы типа точка-точка и публикация-подписка
Модели доставки сообщений
Большинство брокеров поддерживает в том или ином виде следующие модели доставки сообщений
Push
- потребитель получает уведомление когда сообщение становится доступным
- для предотвращения переполнения потребителя используется предел предварительной выборки (QoS limit): количество необработанных сообщений для конкретного потребителя
- эта модель хорошо подходит для обмена сообщениями с низкой задержкой (low latency): сообщение сразу же доставляется потребителю как только оно появилось в очереди
- так же к преимуществам этой модели можно отнести поддержку равномерного распределения сообщений между конкурентными потребителями.
- одним из недостатков данной модели является неспособность потребителя контролировать скорость передачи сообщений
- так же данная модель плохо подходит для пакетной обработки
Pull
- потребитель периодически опрашивает очередь на предмет новых сообщений
- потребитель полностью контролирует количество прочитанных сообщений - переполнение не возможно.
- разные потребители могут обрабатывать сообщения из разных мест в патриции. при этом одни потребители могут обрабатывать сообщения в реальном времени, а другие в пакетном режиме
- так же данная модель хорошо подходит для масштабирования систем.
- к недостаткам можно отнести постоянный опрос очереди со стороны потребителя даже при отсутствии сообщений.
Гарантии доставки
Гарантированная доставка сообщений является важным свойством брокера и может играть ключевую роль при разработки системы. Рассмотрим основные гарантии доставки, предоставляемые популярными брокерами
At-most-once доставка:
- сообщение будет доставлено не более одного раза
- сообщение может быть потеряно
- схема работы
- производитель асинхронно отправляет сообщение в очередь без ожидания подтверждения доставки
- потребитель получает сообщение и фиксирует сообщение как обработанное до начала обработки
- если в процессе обработки произойдет ошибка сообщение не будет отправлено повторно
- преимущества данной схемы
- отсутствие дубликатов
- высокая производительность (отсутствие проверок)
- главный недостаток: возможная потеря сообщений
- данная схема хорошо подходит для сценариев, в которых допустима потеря некоторого количества данных, например сбор метрик
At-least-once доставка:
- сообщение будет доставлено как минимум один раз
- сообщение может быть доставлено более одного раза
- ни одно сообщение не будет потеряно
- схема работы
- производитель отправляет сообщение синхронно/асинхронно в очередь и ожидает подтверждение доставки
- если происходит ошибка или по истечении таймаута производитель повторно отправляет сообщение в очередь
- потребитель получает сообщение, обрабатывает его и фиксирует сообщение как обработанное
- если происходит ошибка в процессе обработки, сообщение будет отправлено повторно
- одним из преимуществ данной схемы является гарантированная доставка сообщений
- главный недостаток: возможные дубликаты сообщений
Exactly once:
По факту exactly once не достижим и вместо него используется at-least-once + idempotent consumer
- сообщение будет доставлено как минимум один раз
- сообщение может быть доставлено более одного раза
- сообщение не будет обработано больше одного раза
Конкурирующие потребители и порядок следования сообщений
В рамках масштабирования мы можем развернуть несколько экземпляров потребителей для параллельной обработки сообщений. Одной из проблем в данном случае становиться гарантия порядка сообщений: отправленные сообщения могут быть равномерно распределены между конкурирующими потребителями и обработаны не в том порядке, в котором они были отправлены, что может привести к состояниям гонки и другим сложно-обнаруживаемым ошибкам. Одним из решений может быть использование партиционированных каналов и групп потребителей, где сообщения с одинаковым ключом отправляются в одну и ту же партицию и могут быть прочитаны только одним потребителем в рамках группы с гарантией порядка сообщений.
Преимущества
Одним из преимуществ асинхронного взаимодействия является отсутствие блокировки между клиентом и сервером. При синхронном вызове клиент, как правило, открывает сетевое соединение с сервером, отправляя запрос. Соединение остается открытым, пока сервер не ответит, что, в случае долгой работы сервера или сетевых задержек, может может привести к длительной блокировке и пустому расходованию ресурсов клиента. Более того, для осуществления вызова клиенту необходима доступность сервера. Если по каким-то причинам (сервер перезапустился, сетевые сбои) этого не происходит, клиент не может продолжить работу. В случае с асинхронным взаимодействия клиент отправляет сообщение в брокер и может продолжать дальнейшее выполнение процесса на своей стороне. Временная связанность между клиентом и сервером так же отсутствует: в случае недоступности сервера, сообщение будет сохранено в брокере и передано серверу при его дальнейшем подключении.
Асинхронный процессинг может быть весьма эффективным приемом сокращения времени отклика системы, особенно в случае наличия длительного процесса подготовки ответа от сервера, поскольку вместо ожидания всех этапов выполнения, пользователь может получить уведомление том, что процесс запущен и продолжить дальнейшую работу с системой.
Недостатки
Основными недостатками асинхронного взаимодействия являются сильное повышение сложности и небоходимость использования дополнительных компонентов (брокеров) для его реализации, что может сильно усложнить разработку, особенно при отсутствии у команды опыта работы с теми или иными технологиями.
Так же стоит отметить, что переход к асинхронному взаимодействию подразумевает так же проработку способа уведомления пользователя об успешном/не успешном выполнении/завершении процесса. Это могут быть, например, уведомления, возникающие по завершении одного из этапов процесса или еще какие-то визуальные элементы, помогающие понять, что процесс запущен и успешно выполняется.
Когда использовать
Несмотря на описанные выше сложности, асинхронный процессинг может помочь в создании отзывчивых и устойчивых систем, которые сложно построить при использовании синхронного взаимодействия, особенно, когда речь идет о длительных процессах на стороне сервера. Например, рассмотрим процесс подготовки банковской выписки за определенный период времени. Выписка представляет из себя документ, например в формате PDF, содержащая операции пользователя за указанный период. Количество операций может быть очень большим (500-600К), за определенный период и в случае синхронного процессинга пользователю придется ждать загрузку операций (от 20-30 ms до10-15 sec в зависимости от их количества), длительный этап подготовки самого документа (до 2-3 min), сохранение готового документа в объектное хранилище и т д. Все это может привести к длительному ожиданию, падениям по тайм-аут-у и недовольству со стороны пользователя.
Вместо этого мы можем немного переделать сам процесс подготовки документа и вместо того, что бы сразу же бросаться готовить документ, мы можем принять сохранить запрос пользователя со всеми параметрами выписки (например в виде заказа на выписку) и сразу же вернуть уведомление о начале подготовки заказа (HTTP 204 и сообщить, что выписка скоро будет готова на стороне клиента). Этапы подготовки выписки могут быть отражены в статусах заказа, обновляемых с использованием обратных вызовов от сервера (polling, web-socket), видимых пользователю. Выполнив все этапы подготовки, мы можем отправить уведомление о готовности выписки и предоставить возможности для ее скачивания из объектного хранилища.







