Как Kafka обеспечивает масштабируемость и надёжность системы?

Масштабируемость системы Kafka обеспечивается несколькими механизмами, среди них:

• Параллельный запуск нескольких экземпляров производителей. www.cyberforum.ru Каждый из них может независимо отправлять сообщения в кластер. www.cyberforum.ru Производительность отправки данных растёт практически линейно с увеличением числа производителей, пока не будет достигнуто узкое место на уровне сети или дисковой подсистемы брокеров. www.cyberforum.ru
• Использование групп потребителей. www.cyberforum.ru www.performance-lab.ru Если объём данных увеличивается, можно добавить новых потребителей в группу. www.performance-lab.ru Kafka автоматически перераспределяет партиции между потребителями, обеспечивая равномерную нагрузку. www.performance-lab.ru
• Управление ресурсами. www.cyberforum.ru Kafka позволяет настраивать квоты для ограничения скорости, с которой клиенты могут производить или потреблять данные. www.cyberforum.ru Это защищает систему от чрезмерной нагрузки со стороны одного клиента и обеспечивает справедливое распределение ресурсов. www.cyberforum.ru

Надёжность системы Kafka обеспечивается, в частности, следующими механизмами:

• Репликация. www.cyberforum.ru practicum.yandex.ru Каждая партиция может иметь несколько реплик, размещённых на разных брокерах. www.cyberforum.ru Одна из реплик назначается лидером и обрабатывает все запросы на чтение и запись для данной партиции. www.cyberforum.ru Остальные реплики (фолловеры) синхронизируются с лидером, постоянно копируя новые сообщения. www.cyberforum.ru При выходе из строя брокера, содержащего лидера партиции, один из синхронизированных фолловеров автоматически повышается до статуса лидера, что обеспечивает непрерывность обслуживания. www.cyberforum.ru
• Механизм зеркалирования. www.cyberforum.ru Он позволяет создавать асинхронную репликацию между географически распределёнными кластерами Kafka, обеспечивая катастрофоустойчивость. www.cyberforum.ru
• Концепция In-Sync Replicas (ISR). www.cyberforum.ru Это набор реплик, которые успешно синхронизируются с лидером. www.cyberforum.ru Концепция является ключевой для обеспечения баланса между доступностью и согласованностью данных. www.cyberforum.ru