Kafka
Официальное определение Apache Kafka — это распределённый программный брокер сообщений с открытым исходным кодом, разрабатываемый в рамках фонда Apache на языках Java и Scala. Kafka представляет собой распределенный реплицированный журнал фиксации изменений (commit log). Рассмотрим подробнее, что это значит:
распределенный: Kafka развертывается как кластер узлов, как для устойчивости к ошибкам, так и для масштабирования
- реплицированный: сообщения обычно реплицируются на нескольких узлах (серверах)
журнал фиксации изменений: сообщения хранятся в сегментированных, append-only журналах, которые называются топиками. Эта концепция журналирования является основным уникальным преимуществом Kafka
Основные понятия
- Producer
- публикует сообщения в топик Kafka
- принимает решение, в какую патрицию отправить сообщение
- сценарии определения партиции
- ключ не задан: продюсер случайным образом выбирает партицию, пытаясь соблюсти баланс общего количества сообщений в разных партициях
- ключ задан: для выбора партиции используется схема Consistent Hashing
- партиция зафиксирована: партиция может быть задана из конфигурации
- так же партиция может быть выбрана исходя из набора заранее заданных правил
- Topic
- категория сообщений, сгруппированных по какому-либо признаку
- Partitions
- аналог шарда в базах данных
- топики разбиваются на патриции, каждая патриция является подмножеством топика
- партиции равномерно распределены между разными серверами кластера
- все сообщения с одним и тем же ключом будут направлены в одну партицию
- каждая партиция является очередью FIFO таким образом, в рамках каждой партиции сохраняется порядок сообщений
- позиция сообщения в рамках партиции называется смещением (offset)
- Message
- атомарная единица информации
- сообщение хранит ключ и значение
- ключ может использоваться для выбора нужной партиции
- Consumer
- читают сообщения из партиции в упорядоченном виде
- сообщения можно читать из любого места в партиции
- после чтения сообщений необходимо зафиксировать текущее смещение
- в случае падения консюмер может снова прочитать сообщения по тому же смещению
- Consumer Group
- множество консюмеров, работающих совместно для получения сообщений из топиков
- каждая группа может быть подписана на множество топиков управляя собственным смещением
- костюмеры в рамках группы могут читать сообщения параллельно
- каждая отдельная партиция может быть прочитана только одним консюмером в рамках группы
- Broker
- сервера, в рамках которых хранятся партиции
- получает сообщение от продюсера, назначает ему смещение и записывает его в структуру хранения на диске (partition log)
Доставка и обмена сообщениями
Kafka использует pull-модель для доставки сообщений: консюмеры периодически проверяют партиции на предмет новых сообщений. Рассмотрим пример добавления консюмера в группу и чтение сообщений из топика
- новый консюмер присоединяется к группе 1 и подписывается на топик A
- поиск подходящего брокера осуществляется хэшированием названия группы
- таким образом все консюмеры из одной группы будут подключаться к одному и тому же брокеру: координатору группы консюмеров
- координатор подтверждает подключение нового консюмера в группу и назначает ему 2-ю партицию
- консюмер извлекает сообщения используя последнее зафиксированное смещение
- консюмер обрабатывает сообщение и фиксирует смещение в брокере




