Некоторые ключевые отличия Spark от традиционных систем обработки данных:

• Обработка в памяти. 45 Spark хранит и обрабатывает данные в оперативной памяти, что обеспечивает гораздо большую скорость, чем загрузка и чтение данных с диска. 4
• Ленивые вычисления. 4 Spark использует концепцию отложенного выполнения вычислений: операции над данными проводятся только перед непосредственным использованием результатов этих операций. 4
• Параллельная обработка и комбинирование операций. 4 Spark распределяет данные и вычисления по нескольким узлам в кластере, выполняя разные операции обработки параллельно в режиме реального времени. 4
• Управление отказами. 1 Spark использует механизм DAG — ориентированный ациклический граф, с помощью которого автоматически восстанавливает работу после сбоев и остаётся устойчивым к ошибкам. 1
• Расширение и кастомизация. 1 Специалисты могут создавать пользовательские функции и интегрировать Spark с языками программирования — Scala, Java, Python и R. 1
• Поддержка различных задач. 3 Spark подходит для задач, требующих быстрой итерации, например, машинного обучения. 3
• Совместимость. 5 Spark может интегрироваться с различными системами хранения данных, включая HDFS, Cassandra, HBase и S3. 5