Для обработки больших данных в реальном времени в Hadoop используется Apache Spark. 14 Эта система распределённых вычислений ориентирована на обработку в реальном времени и позволяет копировать информацию в оперативную память, что значительно ускоряет процесс. 1

Платформы интегрируются вместе на проектах, где необходимо хранить данные долговременно и быстро их обрабатывать: 1

• HDFS используется как основное файловое хранилище, предоставляя масштабируемую инфраструктуру для хранения информации. 1
• Spark обрабатывает и трансформирует данные в реальном времени. 1
• YARN распределяет вычислительные мощности между платформами. 1

Также для обработки в реальном времени вместе со Spark часто используют Apache Kafka — систему обмена сообщениями. 1