В чем заключаются преимущества применения localCheckpoint в PySpark?

Некоторые преимущества применения localCheckpoint в PySpark:

• Повышение производительности. github.com localCheckpoint записывает данные в память экзекутора, что может ускорить работу, особенно в итерационных алгоритмах, где план выполнения может расти экспоненциально. spark.apache.org github.com
• Сокращение логического плана. spark.apache.org localCheckpoint позволяет обрезать логический план датафрейма, что полезно, например, при работе с итеративными алгоритмами. spark.apache.org

Однако у localCheckpoint есть и недостатки: он не является отказоустойчивым, так как в случае внеплановой смерти экзекутора теряются данные и сохранённые файлы датафрейма. github.com