Почему происходят утечки данных в Spark и какие способы их избежать?

Утечки данных в Spark происходят из-за нехватки ресурсов для обработки. habr.com Когда участки Executor Memory и Storage Memory полностью заполнены, они начинают переполняться и вызывают утечку данных. habr.com По умолчанию в Spark установлен параметр ограничения блока данных в 4096 элементов. habr.com Если это значение превышается, данные сбрасываются на диск и обрабатываются медленнее. habr.com

Чтобы избежать утечек данных, можно использовать следующие способы:

• Обрабатывать меньше данных на задачу. nuancesprog.ru Это можно сделать, изменив количество разделов с помощью spark.shuffle.partitions или repartition. nuancesprog.ru
• Увеличить соотношение «оперативная память/ядра» в компьютере. nuancesprog.ru
• Изменить порядок джоинов. habr.com Например, если маленький DataFrame пытаются соединить с большим, то можно поменять порядок и соединять маленький DataFrame с большим. habr.com
• Увеличить память исполнителя Spark. bigdataschool.ru При работе в YARN также рекомендуется увеличить накладную память для потоков JVM, внутренних метаданных и т. д.. bigdataschool.ru
• Использовать G1GC — сборщик мусора серверного типа для многопроцессорных машин с большой памятью. bigdataschool.ru Он обеспечивает высокую пропускную способность и предотвращает прерывания, пропорциональные размеру кучи или оперативных данных. bigdataschool.ru