spark implicits

spark를 통해 데이터를 구조화된 형식으로 처리할때

import spark.implicits._

이 코드를 작성하는데 이게 무슨 기능을 하는지, 왜 쓰는지는 별 생각을 안해봤다.

 

implicits는 컴파일러에게 암시적 변환을 사용하여, 특정한 데이터 형식을 다른 형식으로 변환하도록 지시하는 기능

 

주요 사례

• Dataframe, Dataset의 API 편의 기능
• 스파크 SQL 함수 사용
• 타입 변환 및 암시적 캐스팅

해당 기능을 사용하면, 코드를 가결, 유연하게 작성하여 가동성 향상