Как работает репликация сообщений в Kafka при выходе из строя брокера?

Репликация сообщений в Kafka при выходе из строя брокера работает следующим образом: bigdataschool.ru habr.com

1. Каждая партиция в Kafka имеет одну основную реплику — лидера. habr.com Он отвечает за приём и запись всех новых сообщений в партиции. habr.com
2. Если лидер становится недоступным, контроллер кластера автоматически выбирает нового лидера из существующих реплик. habr.com Например, если лидером была реплика на брокере 1 и он вышел из строя, Kafka выберет новым лидером одну из других реплик. habr.com
3. Если одна из реплик сбоится, данные остаются доступными благодаря другим репликам. habr.com Например, если у партиции есть три реплики, и одна из них столкнётся с сбоем, данные останутся доступными благодаря оставшимся двум репликам. habr.com

Чтобы восстановить своё актуальное состояние, ведомые реплики посылают ведущим запросы (fetch) со смещением (offset). kafka-school.ru В ответ на них ведомые реплики присылают сообщения в порядке, указанном в смещении. kafka-school.ru