Как работает Kafka Streams для потоковой обработки данных?

Kafka Streams работает для потоковой обработки данных следующим образом: bigdataschool.ru

1. Создаётся топология потоковой передачи. kafka-school.ru Это направленный ациклический граф с узлами обработки и рёбрами, которые представляют поток данных. www.confluent.io В качестве вершин выступают рабочие узлы, которые соединены между собой потоками. kafka-school.ru
2. Данные поступают из Kafka через узлы источника в верхней части топологии. www.confluent.io Они проходят через узлы пользовательского процессора, где выполняются логические операции, и выходят через узлы приёмника в новый топик Kafka. www.confluent.io
3. Kafka Streams создаёт фиксированное количество потоковых задач на основе входных потоковых разделов для приложения. bigdataschool.ru При этом каждой задаче назначается свой список топиков Кафка. bigdataschool.ru
4. Задачи могут создавать свою собственную топологию потоковых обработчиков на основе назначенных разделов, буферизируя каждый раздел и обрабатывая по одной записи за раз из этих буферов. bigdataschool.ru

В процессе обработки можно преобразовывать данные с помощью различных операций без состояния, таких как сопоставление и фильтрация. www.confluent.io