Как работает система обработки данных Apache Kafka в реальном времени?

Система обработки данных Apache Kafka в реальном времени работает по принципу «издатель/подписчик». babok-school.ru Приложения-продюсеры отправляют сообщения в топик, откуда их считывают приложения-потребители, подписанные на этот топик. babok-school.ru

Упрощённая схема работы: practicum.yandex.ru

1. Издатели отправляют сообщения в конкретные темы. practicum.yandex.ru
2. Kafka распределяет сообщения по темам и разделам. practicum.yandex.ru
3. Как только в теме появляется новое сообщение, его получают все подписанные на неё адресаты. practicum.yandex.ru
4. Внутри тем существуют разделы, специально для каждого подписчика. practicum.yandex.ru Одно сообщение может уйти в одну тему, но в несколько разделов — и его заберут несколько подписчиков. practicum.yandex.ru
5. Поскольку сообщений много, они попадают в последовательную очередь, из которой подписчик считывает сообщения в порядке их поступления. practicum.yandex.ru

Пример работы на примере интернет-магазина: practicum.yandex.ru когда в системе появляется новый товар, сервис отправки уведомлений обращается к Apache Kafka и отправляет об этом сообщение в тему «Новые товары». practicum.yandex.ru Сервис оформления заказа и сервис поиска товаров подписаны на эту тему, поэтому сразу получают это сообщение и добавляют новый товар к себе. practicum.yandex.ru Когда клиент что-то покупает, сервис оформления заказа отправляет сообщение в тему «Новые заказы». practicum.yandex.ru И уведомление о нём получат все, кто подписан на эту тему. practicum.yandex.ru

Весь этот обмен происходит в реальном времени — сервисы постоянно «заглядывают» в нужные темы и мгновенно получают оттуда сообщения. practicum.yandex.ru