В чем преимущества использования Spark Streaming для обработки потоковых данных?

Некоторые преимущества использования Spark Streaming для обработки потоковых данных:

• Унифицированная платформа для всех задач обработки данных, включая машинное обучение, обработку графиков, операции SQL. www.analyticsvidhya.com
• Динамическая балансировка нагрузки и лучшее управление ресурсами за счёт эффективного распределения рабочей нагрузки между работниками и параллельного запуска задачи. www.analyticsvidhya.com
• Интеграция с передовыми библиотеками обработки данных, такими как Spark SQL, MLlib, GraphX. www.analyticsvidhya.com
• Более быстрое восстановление после сбоев за счёт параллельного повторного запуска неудачных задач на других свободных узлах. www.analyticsvidhya.com
• Отказоустойчивость благодаря одновременному копированию данных из внешних источников на разные узлы кластера и механизму контрольных точек. bigdataschool.ru
• Строго однократная семантика доставки сообщений (exactly-once) — если рабочий узел выходит из строя в момент обработки, окончательный результат преобразования не изменится. spark-school.ru

Пользователь

Время добавления