Система обработки данных Apache Kafka в реальном времени работает по принципу «издатель/подписчик». 4 Приложения-продюсеры отправляют сообщения в топик, откуда их считывают приложения-потребители, подписанные на этот топик. 4

Упрощённая схема работы: 1

1. Издатели отправляют сообщения в конкретные темы. 1
2. Kafka распределяет сообщения по темам и разделам. 1
3. Как только в теме появляется новое сообщение, его получают все подписанные на неё адресаты. 1
4. Внутри тем существуют разделы, специально для каждого подписчика. 1 Одно сообщение может уйти в одну тему, но в несколько разделов — и его заберут несколько подписчиков. 1
5. Поскольку сообщений много, они попадают в последовательную очередь, из которой подписчик считывает сообщения в порядке их поступления. 1

Пример работы на примере интернет-магазина: 1 когда в системе появляется новый товар, сервис отправки уведомлений обращается к Apache Kafka и отправляет об этом сообщение в тему «Новые товары». 1 Сервис оформления заказа и сервис поиска товаров подписаны на эту тему, поэтому сразу получают это сообщение и добавляют новый товар к себе. 1 Когда клиент что-то покупает, сервис оформления заказа отправляет сообщение в тему «Новые заказы». 1 И уведомление о нём получат все, кто подписан на эту тему. 1

Весь этот обмен происходит в реальном времени — сервисы постоянно «заглядывают» в нужные темы и мгновенно получают оттуда сообщения. 1