데이터 엔지니어 이것저것

dbt_project.yml 에서 models 부분에 +materialized 값들이 있다. 이는 dbt 실행 후 생성할 결과물을 설정하는 값이다. 5가지 타입으로 결과물을 저장할 수 있다. table view incremental ephemeral materialized view view : view를 다시 생성 장점 : 추가 데이터가 저장되지 않으며, 항상 최신의 데이터가 보임 단점 : 변환을 수행하거나, 다른 뷰 위의 뷰는 속도가 느리다 일반적인 모델의 경우 뷰로 시작을 하고, 성능 이슈가 생길때 다른 옵션을 사용 중요 변환작업이 없을 경우 사용하기 좋음 table : table 다시 생성 장점 : 쿼리 속도가 빠르다 단점 : 복잡한 변환 작업을 수행할 경우, 테이블 생성에 시간이 오래 걸린다, 신..