RabbitMQ
Брокер сообщений на основе стандарта AMQP (Advanced Message Queuing Protocol). Работает как кластер, в котором очереди распределяются по узлам, и, опционально, реплицируются в целях устойчивости к ошибкам и высокой доступности. Маршрутизирует собщения по всем базовым принципам протокола AMQP описанным в спецификации. Отправитель передает сообщение брокеру а тот доставляет его получателю. Основная идея модели обмена сообщениями в RabbitMQ заключается в том, что producer (издатель) не отправляет сообщения непосредственно в очередь. На самом деле и довольно часто издатель даже не знает, будет ли сообщение вообще доставлено в какую-либо очередь. Вместо этого издатель может отправлять сообщения только на обменник (Exchange). С одной стороны, обменник получает сообщения от издателей, а с другой — отправляет их в очереди. Обменник должен точно знать, что делать с полученным сообщением. Должно ли оно быть добавлено в определенную очередь? Должно ли оно быть добавлено в несколько очередей? Или сообщение нужно игнорировать.
Основные понятия
- Producer — публикует сообщения в Rabbit
Exchange — обменник. Сущность Rabbit, точка входа для публикации всех сообщений.
Binding — связь между Exchange и очередью.
Queue — очередь для хранения сообщений.
Существует три типа очередей
Classic — обычная очередь, используется в большинстве случаев.
Quorum — аналог классической очереди, но с обеспечением гарантий консистентности, достигаемый кворумом в кластере.
Stream — новый вид очередей (начиная с версии Rabbimq 3.9), пока ещё мало кем используемый, аналог принципов Apache Kafka.
Messages — сообщение, атомарная сущность.
Consumer — подписывается на очередь и получает от Rabbit сообщения.
Доставка и обмен сообщениями
Rabbit использует push-модель доставки сообщений: сообщения проталкиваются до потребителей по мере их появления. Для предотвращения переполнения потребителя используется предел предварительной выборки (QoS limit). По сути, предел QoS это ограничение на количество скопившихся неподтвержденных получателем сообщений. Это действует как предохранитель, когда получатель начинает отставать
Рассмотрим базовый сценарий обмена сообщениями в Rabbit Mq
- Издатель отправляет сообщение определенному обменнику
- Обменник получает сообщение и, используя различные схемы маршутризации, отправляет его в нужную очередь
- Очередь хранит ссылку на это сообщение. Само сообщение хранится в оперативной памяти или на диске
- Как только потребитель готов получить сообщение из очереди, сервер создает копию сообщения по ссылке и отправляет
- Потребитель получает сообщение и отправляет брокеру подтверждение
- Брокер, получив подтверждение, удаляет копию сообщения из очереди. Затем удаляет из оперативной памяти и с диска
Одной из сильных сторон данной технологии является поддержка различных тем обмена сообщениями с использованием различных типов обменников (exchange-s):
- Fanout:
- публикует сообщения во все очереди, в которых есть binding, игнорируя любые настройки binding (routing key или заголовки)
- cамый простой тип и наименее функциональный
- стандартная модель: публикация-подписка
- Direct
- публикует сообщения во все очереди, в которых Routing Key binding полностью совпадает с Routing Key Messages
- наиболее популярный тип, по скорости сравнимый с fanout и при этом обладающий необходимой гибкостью для большинства задач
- стандартная модель: точка-точка
- Topic
- похож на Direct, но поддерживающий в качестве параметров binding Wildcard * и #, где:
- * - совпадение одного слова (слова разделяются точкой)
# — любое количество слов.
- похож на Direct, но поддерживающий в качестве параметров binding Wildcard * и #, где:
- Headers
- наиболее гибкий, но наименее производительный тип. Скорости очень сильно зависят от сложности условий и поэтому труднопрогнозируемы
- оперирует не Routing key, а заголовками сообщений и binding.
- В binding указываются ожидаемые заголовки, а также признак x-match, где:
x-match=all — необходимы все совпадения для попадания сообщения;
x-match=any — необходимо хотя бы одно совпадение.
Также стоит отметить, что Rabbit поддерживает оба стиля асинхронного взаимодействия (request-replay и publish/subscribe) используя различные типы обменников и очередей.
Гарантии доставки
Как и большинство брокеров Rabbit поддерживает at-least-once и at-most-once гарантии доставки. Потребитель может подтвердить обработку сообщения - механизм Acknowledge (ack) или вернуть сообщение в очередь в случае неудачно обработки - механизм Negative acknowledge (nack). Механизм nack также срабатывает автоматически при разрушении канала к Consumer. Это удобно использовать: если на горячую выключить Consumer, сообщения, которые он обрабатывал, автоматически вернутся в очередь. При настройке потребителя можно выставить флаг AutoAck. В этом случае очередь не будет ждать подтверждение об успешной обработке запроса от потребителя и сообщение будет удалено после его отправки
Так же стоит запомнить ряд моментов:
- следует применять зеркалирование очередей, надёжные очереди, устойчивые сообщения, подтверждения для отправителя, флаг подтверждения и принудительное уведомление от получателя, если требуются надёжные гарантии at-least-once.
- если отправка производится в рамках гарантии at-least-once, может потребоваться добавить механизм дедубликации или идемпотентности при дублировании отправляемых данных.
- если вопрос потери сообщений не так важен, как вопрос скорости доставки и высокой масштабируемости, то подумайте о системах без резервирования, без устойчивых сообщений и без подтверждений на стороне источника.

