Какие недостатки существуют при использовании Apache Spark в производстве?

Некоторые недостатки, которые могут возникать при использовании Apache Spark в производстве:

• Высокое потребление памяти и повышенные требования к оборудованию. 3 Spark не записывает промежуточные данные на диск, а размещает их в оперативную память. 4 Поэтому сервера, на которых развёрнут Spark, требуют большего объёма RAM. 4 Это ведёт к удорожанию кластера. 4
• Ограниченная поддержка обработки в реальном времени. 3 Это связано с тем, что Spark разбивает непрерывный поток данных на серию микропакетов, поэтому возможны временные задержки порядка секунды. 4
• Сложности при работе с большим количеством маленьких файлов. 3 Чем больше файлов в рабочей нагрузке, тем больше метаданных нужно проанализировать и задач запланировать, что может значительно замедлить обработку. 3
• Зависимость от внешних систем хранения. 3 У Spark нет встроенной системы хранения, его архитектура предназначена для взаимодействия с разнообразными решениями для хранения данных, такими как HDFS, Amazon S3, Apache Cassandra или Apache HBase. 3
• Отсутствие автоматического процесса оптимизации кода. 1 Оптимизировать код в Spark нужно вручную. 1
• Проблема SQL-инъекций. 4 В запрос к базе данных может внедряться вредоносный код. 4