В чем заключаются ключевые отличия между SparkSession и SparkContext в рамках Apache Spark?

Ключевые отличия между SparkSession и SparkContext в рамках Apache Spark:

1. SparkContext — это создаваемый процессом драйвера объект, который представляет собой точку входа в Spark и реализует подключение к менеджеру кластера. habr.com В нём можно определить набор конфигураций, который будет использован в приложении, и с помощью него можно создавать RDD, широковещательные переменные и накопители. habr.com
2. SparkSession — это унифицированная точка входа для использования всех функций Apache Spark, включая Spark SQL, DataFrame API и Dataset API. supergloo.com Она была введена в Spark 2.0 и предоставляет упрощённый, удобный интерфейс для взаимодействия с Spark. supergloo.com В отличие от SparkContext, в PySpark-приложении может быть создано несколько экземпляров SparkSession, каждый из которых будет ссылаться на единственный экземпляр SparkContext и иметь общее хранилище кешированных данных. habr.com