Как работает распределенная потоковая передача событий в Kafka?

Распределённая потоковая передача событий в Kafka работает по принципу «издатель/подписчик». babok-school.ru Приложения-продюсеры отправляют сообщения в топик, откуда их считывают приложения-потребители, подписанные на этот топик. babok-school.ru Всё это происходит в режиме почти реального времени. babok-school.ru

Топик в Kafka — это не физическое, а логическое хранилище сообщений, которые публикует продюсер, чтобы их считали потребители. babok-school.ru Топик позволяет сгруппировать потоки сообщений по категориям, например, по сущностям домена: в один топик будут отправляться события пользовательского поведения, в другой — системные данные с «умных часов» или других устройств носимой электроники и т.д.. babok-school.ru

Каждый топик может быть разбит на разделы (партиции). babok-school.ru Раздел является единицей параллелизма и представляет собой журнал (лог) сообщений от одного и только одного приложения-продюсера, упорядоченных в порядке их поступления в Kafka. babok-school.ru Порядковый номер сообщения под названием смещение (offset) определяет, когда приложения-потребители считают данные. babok-school.ru Лог устроен по принципу FIFO (First In, First Out): первыми считываются сообщения, которые отправлены в Kafka раньше. babok-school.ru

Чтобы потребитель не «захлебнулся» от данных, в Kafka есть механизм объединения потребителей в группы для равномерного распределения разделов между несколькими приложениями-потребителями. babok-school.ru

Для обеспечения отказоустойчивости события реплицируются в нескольких брокерах, что гарантирует высокую доступность даже в случае сбоев узлов. nuancesprog.ru