Spark Session

Spark Session?

• 스파크 응용 프로그램의 통합 진입점

---

계층구조

Spark Context는 Spark 1.x 버전에서의 모든 Spark 애플리케이션의 진입점이였지만,

Spark Session이 나온 이후로 Spark 애플리케이션의 진입점이 스파크 세션으로 바뀌었다.

 

---

When Spark Session

• 적은 양의 구문으로 다양한 기능과 인터페이스를 사용할 수 있다.
• 수많은 컨텍스트를 모두 통합하여 개발자가 별도의 컨텍스 생성에 대한 걱정을 줄여준다
• 동일한 노트북 환경에 여러사람이 액세스 할때
  기존 Spark context 에서는 여러개의 Spark context를 생성하였으나,
  Spark Session을 이용하면서 이러한 문제가 해결

 

 

 

 

출처

https://gankrin.org/sparksession-vs-sparkcontext-vs-sqlcontext-vs-hivecontext/

Difference Between SparkSession , SparkContext , SQLContext & HiveContext -

https://www.ksolves.com/blog/big-data/spark/sparksession-vs-sparkcontext-what-are-the-differences

SparkSession Vs SparkContext - What Are The Differences?