데이터 엔지니어 이것저것

spark를 통해 데이터를 구조화된 형식으로 처리할때 import spark.implicits._ 이 코드를 작성하는데 이게 무슨 기능을 하는지, 왜 쓰는지는 별 생각을 안해봤다. implicits는 컴파일러에게 암시적 변환을 사용하여, 특정한 데이터 형식을 다른 형식으로 변환하도록 지시하는 기능 주요 사례 Dataframe, Dataset의 API 편의 기능 스파크 SQL 함수 사용 타입 변환 및 암시적 캐스팅 해당 기능을 사용하면, 코드를 가결, 유연하게 작성하여 가동성 향상

Spark로 추후 db 연결등을 위해 테스트 진행 제일 처음 build.sbt 에 필요 라이브러리 추가 libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "3.0.0", "org.apache.spark" %% "spark-sql" % "3.0.0", "org.apache.spark" %% "spark-mllib" % "3.0.0", "org.apache.spark" %% "spark-streaming" % "3.0.0", "org.apache.spark" %% "spark-sql-kafka-0-10" % "3.0.0", "mysql" % "mysql-connector-java" % "8.0.11", ) db 연결 코드 val dbUrl ..

기본적으로 query history 는 남지 않는다 db 접근 로그인 mysql -u mysqluser -p 로그 활성화 상태 확인 show variables where Variable_name in ('version', 'log', 'general_log'); 로그 활성화 set global general_log = 1; 로그 적재할 곳 정하기 ( 나의 경우 FILE로 세팅되어있었음) SHOW VARIABLES LIKE '%log_output%'; set global log_output = 'TABLE'; set global log_output = 'TABLE,FILE'; 이후 select * from mysql.general_log;