Architecture Course Home / Архитектурные шаблоны / Шаблоны высшего порядка / Глубокое погружение в шаблоны высшего порядка

Event-Driven Architecture

Описание

Стиль архитектуры, управляемой событиями, - это популярный стиль распределенной асинхронной архитектуры, используемый для создания высокомасштабируемых и высокопроизводительных приложений. Стиль хорошо подходит как для малых, так и для больших приложений. Архитектура, управляемая событиями, состоит из сильно развязанных компонентов обработки событий, которые асинхронно принимают и обрабатывают события. Его можно использовать как автономный стиль архитектуры или встраивать в другие стили архитектуры (например, архитектуру микросервисов, управляемую событиями).

Управляемая событиями архитектура включает поставщики событий (event producers), которые создают потоки событий, и потребители событий(event consumers), которые прослушивают эти события.

Diagram of an event-driven architecture style

События доставляются практически мгновенно, что позволяет потребителям немедленно реагировать на происходящие события. Производители отделены от потребителей - производитель даже может не знать, какие потребители его слушают.

Архитектура на основе событий может использовать модель публикации и подписки (также называемая pub/sub) или моделью потока событий (Event streaming).

На стороне получателя есть несколько распространенных вариантов реализации.

Источник событий может находиться за пределами системы, например это могут быть физические устройства в решении Интернета вещей. В такой ситуации система должна поддерживать прием данных в таких объемах и на такой скорости, которые соответствуют характеристикам источника данных.

На представленной выше логической схеме каждый тип потребителя обозначен отдельным блоком. На практике обычно используется несколько экземпляров каждого поставщика, чтобы они не становились единой точкой отказа. Наличие нескольких экземпляров также может требоваться для обработки событий в нужных объемах и (или) с нужной скоростью. Кроме того, каждый объект-получатель может обрабатывать события в нескольких потоках.

Уникальные возможности

Отзывчивость

Стиль архитектуры, управляемой событиями, предлагает уникальную характеристику по сравнению с другими стилями архитектуры - он опирается исключительно на асинхронную связь как для обработки fire and forget (ответ не требуется), так и для обработки request/replay (ответ требуется от потребителя события). Асинхронная связь может быть мощным методом повышения общей отзывчивости системы.


Рассмотрим пример публикации комментариев, используем синхронный и асинхронный подходы.

При синхронном взаимодействии пользователь вынужден ждать 3100 миллисекунд. 

При асинхронном взаимодействии пользователь получит ответ за 25 миллисекунд. Разрыв в 3075 миллисекунд ошеломительный, но нужно понимать, что это только отзывчивость и у всего есть последствия.

Конечная производительность не изменилась. Потребитель как обрабатывал комментарий за 3000 миллисекунд так и обрабатывает. К тому же появится новая проблема - пользователь не увидит успешно ли опубликован комментарий или нет. Что будет, если потребитель по каким-то причинам отклонит публикацию? Например, из-за нецензурной лексики в комментарии или из-за контента рекламного характера или ещё из-за миллиона разных причин. Обработка ошибок в событийной архитектуре - это новый челенж для архитектора.

Broadcast

Одной из других уникальных характеристик событийной архитектуры является возможность транслировать события без знания того, кто (если кто-либо) получает сообщение и что они с ним делают.

Broadcast, наверное, один из самых эффективных видов развязанности. Производитель ничего не знает о том, кто будет читать его данные и, что с ними делать. Добавление нового потребителя ни как не повлияет на производителя.

Топология рабочего процесса

В архитектуре, управляемой событиями, есть две основные топологии: топология брокера и типология медиатора. Топология медиатора обычно используется, когда вам требуется контроль над рабочим процессом события, в то время как топология брокера используется, когда вам требуется высокая степень отклика и динамический контроль над обработкой события. Поскольку характеристики архитектуры и стратегии реализации различаются между этими двумя топологиями, важно понимать каждую из них, чтобы знать, что лучше всего подходит для конкретной ситуации.

Топология брокера

Топология брокера отличается от топологии медиатора тем, что нет центрального медиатора событий. Скорее, поток сообщений распределяется по компонентам процессора событий цепным способом через легкий брокер сообщений (например, RabbitMQ, ActiveMQ и так далее). Эта топология полезна, когда у вас относительно простой поток обработки событий, и вам не нужна центральная координация событий.


На рисунке изображена типичная топология без центрального медиатора. Классическая хореография.


На примере ниже можно понять насколько становится сложно управлять рабочим процессом. Логика рабочего процесса разнесена по всем компонентам рабочего процесса.


Trade-Off

Преимущества

Недостатки

Сильная развязанность обработчиков событий

Контроль рабочего процесса

Высокая масштабируемость

Обработка ошибок

Высокая отзывчивость

Восстанавливаемость
Высокая производительность

Возможности перезапуска

Высокая отказоустойчивость

Неконсистентность данных

Топология медиатора

Топология медиатора событийной архитектуры устраняет некоторые недостатки топологии брокера, описанные в предыдущем разделе. Центральное место в этой топологии занимает посредник событий, который управляет и контролирует рабочий процесс для инициирования событий, требующих координации нескольких обработчиков событий. Компонентами архитектуры, составляющими топологию медиатора, являются инициирующее событие, очередь событий, посредник событий, каналы событий и обработчики событий.

На рисунке изображена типичная топология с центральным медиатором. Классическая оркестровка.


Медиатор можно реализовать разными технологиями:

При выборе медиатора полагайтесь на сложность рабочего процесса. Использование BPM будет перебор для простых рабочих процессов, вы потратите слишком много времени на изучение и адаптацию инструмента. Выбрав Apache Camel для сложных процессов с ручными шагами вы попадаете на большую и долгую разработку.


В большинстве реализаций топологии медиатора существует несколько медиаторов, обычно связанных с определенной областью или группой событий. Это уменьшает проблему с единой точкой сбоя, связанную с этой топологией, а также увеличивает общую пропускную способность и производительность.

Trade-Off

Преимущества

Недостатки

Контроль рабочего процесса

Больше связи обработчиков событий

Обработка ошибок

Низкая масштабируемость

Восстанавливаемость

Низкая производительность

Возможности перезапуска

Низкая отказоустойчивость

Улучшенная согласованность данных

Моделирование сложных рабочих процессов

Выбор между топологией брокера и посредника, по сути, сводится к компромиссу между управлением рабочим процессом и возможностью обработки ошибок по сравнению с высокой производительностью и масштабируемостью. Хотя производительность и масштабируемость все еще хороши в топологии медиатора, они не так высоки, как в топологии брокера.

Практики

Error Handling

Шаблон событий рабочего процесса реактивной архитектуры является одним из способов решения проблем, связанных с обработкой ошибок в асинхронном рабочем процессе. Этот шаблон представляет собой шаблон реактивной архитектуры, который учитывает как отказоустойчивость, так и отзывчивость. Другими словами, система может быть устойчивой с точки зрения обработки ошибок без влияния на отзывчивость.


Предположим, что в нашей событийной архитектуре произошла ошибка, что будет, если мы будем пытаться ее обработать непосредственно потребителем?

Все остальные сообщения в очереди встанут в очередь и будут ждать выполнения сообщения с ошибкой. Хорошей стратегией для решения этой проблемы будет паттерн workflow processor. В случае возникновения ошибки на потребителе, он немедленно делегирует эту ошибку workflow processor и переходит к следующему сообщению в очереди событий. Таким образом, общая отзывчивость не ухудшается, потому что следующее сообщение обрабатывается немедленно.

Как только workflow processor получает сообщение с ошибкой, он пытается выяснить, что не так с сообщением. Если он может исправить сообщение, он это делает и отправляет сообщение в очередь потребителю как новое. В противном случае workflow processor отправляет сообщение с ошибкой в другую очередь для ручного анализа. Такое сообщение будет рассмотрено оператором в ручном режиме, по возможности исправлено и отправлено в очередь потребителю.

Перед отправкой сообщения в workflow processor стоит понимать, восстановимая ошибка вообще или нет. Недоступная третья система будет попрежнему недоступна и для нового сообщения. Вероятно стоит подождать ее восстановления.

Preventing Data Loss

Потеря данных всегда является основной проблемой при работе с асинхронной связью.

Рассмотрим три сценария потери данных:

  1. Сообщение никогда не попадает в очередь из Event Processor A или брокер не гарантирует отправку сообщения в Event Processor B. Для решений этих проблем есть два механизма:
  2. Event Processor B забирает из очереди следующее доступное сообщение и вылетает, прежде чем сможет обработать событие.
  3. Event Processor B не может сохранить сообщение в базе данных из-за некоторой ошибки.


Решение в том же порядке:

  1. Synchronous send. Отправка сообщения блокируется до тех пор пока потребитель не даст подтверждение, что сообщение получено очередью. Persistent queues. Очередь должна сохранять сообщения не только в памяти, но и на диск. И при выходе очереди из строя данные не будут потеряны.
  2. Client acknowledge mode. Потребитель должен давать подтверждение, что сообщение обработано и не брать в обработку следующее сообщение.
  3. Используйте ACID транзакции или другие механизмы гарантированной фиксации сообщений в базе. Использование так называемой last participant support (LPS) удаляет сообщение из постоянной очереди, признавая, что обработка завершена и что сообщение было сохранено.

last participant support это протокол двухфазной транзакции. При вычитке сообщения из очереди она блокируется за тем потребителем, который прочитал это сообщение. А при подтверждении потребителем обработки, сообщение фиксируется и удаляется из очереди или производится смещение чтения на новое сообщение.


Третий пункт не так очевиден как кажется. А что, если стейт в базе обновился, а комит на стороне брокера не произошел? Сообщение будет вычитано и обработано повторно.

Idempotent Consumer

Реализуйте идемпотентного потребителя, который является потребителем сообщений, который может правильно обрабатывать повторяющиеся сообщения. Некоторые потребители естественно идемпотентны. Другие должны отслеживать сообщения, которые они обработали, чтобы обнаруживать и отбрасывать дубликаты.

Вы можете сделать потребителя идемпотентным, записав в базу данных идентификаторы сообщений, которые он успешно обработал. При обработке сообщения потребитель может обнаруживать и удалять дубликаты, запрашивая базу данных. Есть несколько разных мест для хранения идентификаторов сообщений. Один из вариантов — потребитель может использовать отдельную PROCESSED_MESSAGES таблицу. Другой вариант заключается в том, чтобы потребитель сохранял идентификаторы в бизнес-сущностях, которые он создает или обновляет.

Transactional messaging

При работе с очередями рано или поздно возникает вопрос. Как надежно/атомарно обновлять базу данных и отправлять сообщения/события в очередь?

Какие варианты первыми приходят в голову:

Очевидно, что ни один из этих вариантов не подходит. Какие же есть варианты решения этой проблемы?

Для решения этой проблемы существует целый ряд паттернов которые можно разбить условно на две категории:

  1. паттерны, записывающие события в "таблицу" EVENTS
    1. Transactional outbox. Сервис, использующая реляционную базу данных, вставляет сообщения/события в таблицу исходящих сообщений как часть локальной транзакции. Служба, использующая базу данных NoSQL, добавляет сообщения/события к атрибуту обновляемой записи (например, документа или элемента).
    2. Database triggers. Один или несколько триггеров базы данных вставляют события в EVENTS таблицу.
  2. паттерны, публикующие событие из EVENTS в очередь - паттерны-ретрансляторы.
    1. Polling publisher. Публикуйте сообщения, опрашивая таблицу исходящих сообщений базы данных.
    2. Transaction log tailing. Вычитка событий для публикации из transaction log (WAL) и ретрансляция сообщений в брокер сообщений.

Request-Reply

Предположим, что в событийной архитектуре пользователю необходимо дождаться ответа от потребителя. Для таких целей используются две очереди: очередь запросов и очередь ответов.

Производитель отправляет сообщение в очередь запросов и блокирует поток исполнения до тех пор, пока не получит ответное сообщение в очередь ответов.

В контексте событийной архитектуры подход с блокировками производителя имеет место быть, но в случае гибридных архитектур проще вызвать синхронный метод.

Event Notification

Не редко в проектируемых нами системах требуется уведомить третью систему о факте совершения какого-то действия, но ждать ответа о подтверждении факта обработки этого уведомления не нужно. Такой подход может сократить время отклика, пропускную способность системы и повысить надежность решения.

Шаблон уведомления потребителя использует небольшое сообщение о событии, чтобы указать, что что-то изменилось (например, новый или обновленный заказ). Событие содержит ссылку на данные, которые изменились, но очень мало. Как и в случае с другими шаблонами распределенных событий, событие может быть предоставлено потребителям через канал подписки или может использовать посредника, такого как брокер сообщений.

Claim-Check

Архитектура, основанная на обмене сообщениями, в какой-то момент должна иметь возможность отправлять, получать и манипулировать большими сообщениями. Такие сообщения могут содержать что угодно, включая изображения (например, снимки МРТ), звуковые файлы (например, звонки в колл-центр), текстовые документы или любые двоичные данные произвольного размера.

Сохраните всю полезную нагрузку сообщения во внешней службе, например в базе данных. Получите ссылку на сохраненную полезную нагрузку и отправьте только эту ссылку на шину сообщений. Клиенты, заинтересованные в обработке этого конкретного сообщения, могут использовать полученную ссылку для извлечения полезной нагрузки, если это необходимо.

Diagram of the Claim-Check pattern.

  1. Полезная нагрузка
  2. Сохранение полезных данных в хранилище данных.
  3. Создайте маркер проверка утверждения и отправьте сообщение с помощью маркера проверка утверждения.
  4. Получение сообщения и чтение маркера утверждения проверка.
  5. Извлеките полезные данные.
  6. Обработка полезных данных.

Event-Carried State Transfer

В распределенной среде доступ к чужим данным может стать дорогой операцией. Как с точки зрения производительности, так и с масштабированием и отказоустойчивостью. Представьте, что для потребителя событий информации в событии недостаточно для совершения какого-то действия. За информацией придется идти к производителю. В итоге мы попадаем в ситуацию, при которой потребитель полностью зависит от производителя для выполнения своей логики. 

Один из способов совместного использования данных — использование событий, которые запускаются, когда компонент, владеющий данными, изменяет их. Событие будет нести с собой всю новую версию данных . Компоненты, заинтересованные в этих данных, будут прослушивать эти события и реагировать на них, сохраняя локальную копию этих данных. Таким образом, когда им понадобятся эти внешние данные, они будут иметь их локально, им не нужно будет запрашивать их у другого компонента.

Trade-Offs

ПреимуществаНедостатки

Улучшенный отклик для пользователя на изменяющийся контент. Системы управляемые событиями позволяют строить независимые представления одних и тех же данных, оптимизированные под конкретный сценарий. 

Поддерживает только конечную согласованность

Лучшая масштабируемость и эластичность. Разделение производителей и потребителей позволяет их масштабировать независимо, а промежуточный буфер в виде брокера позволяет переживать пики нагрузки между ними без необходимости добавления ресурсов.

Неэкономичность. Системы, управляемые событиями, более требовательны у ресурсам. Добавляется брокер сообщений. И некоторые из паттернов подразумевают дублирование данных.

Лучшая гибкость и управление изменениями. Broadcast даёт нам возможность подключать новые потребители не изменяя при этом производителя. По сути производитель может и не знать кто к нему подключен.

Меньший контроль над потоком обработки.

Лучшая отзывчивость и производительность. Системы управляемые событиями не обязаны дожидаться завершения исполнения задания.

Сложно тестировать и отлаживать.

Устойчивость к сбоям. Выход одного компонента из строя не приводит к недоступности всей системы.

Сложность в разработке. Событийные системы сложнее для разработки. Разработчику привычнее воспринимать системы в request-based парадигме. При котором завершение запроса гарантирует изменение состояния системы. При событийной архитектуре изменения в системе произойдёт когда-то в будущем, что не так тривиально для понимания.

Когда использовать

Стиль хорошо подходит, когда важен:

Сложности

Сам по себе этот архитектурный стиль не существует, это всегда гибрид с какой-то другой архитектурой, такой как: Service-Oriented Architecture, Space-Based Architecture, Microservices Architecture.

Связанные шаблоны

Рейтинг атрибутов качества

Атрибуты качестваРейтинг
Тип деления на модулиТехническое
Число квантов1-N
Deployability(star)(star)(star)
Elasticity(star)(star)(star)
Maintainability(star)(star)(star)(star)(star)
Overall cost(star)(star)(star)
Performance(star)(star)(star)(star)(star)
Reliability(star)(star)(star)(star)(star)
Scalability(star)(star)(star)(star)(star)
Simplicity(star)
Testability(star)(star)


Наименьший балл получает простота использования. По праву это один из самых сложных архитектурных стилей. Множество нюансов, которые приходится учесть: как работать с конечной консистенцией, как обрабатывать ошибки, как добиться идемпотентности и тд.

Тестируемость тоже не самая сильная сторона такой архитектуры. Тестирование асинхронный поток, взаимосвязанных событий может оказаться адом.

Эволюционность, производительность, масштабируемость и отказоустойчивость является основными сильными сторонами этого архитектурного стиля. Высокая эволюционность достигается по нескольким факторам: broadcast message и Event-Carried State Transfer. Высокая производительность достигается благодаря асинхронной связи в сочетании с высокопараллельной обработкой. Высокая масштабируемость достигается за счет программной балансировки нагрузки процессоров событий (также называемых конкурирующими потребителями). 


Оригинал на wiki