Notice
Recent Posts
Recent Comments
Link
250x250
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- polars
- KubernetesPodOperator
- 모바일
- 카프카
- CDC
- mysql
- UI for kafka
- k9s
- ksql
- spring boot
- 크롤링
- 쿠버네티스
- spark
- proerty
- Python
- 파이썬
- 동적 차트
- Java
- freshness
- 윈도우
- DBT
- numpartitions
- bar cahrt
- Materializations
- query history
- docker
- 도커
- dbt_project
- airflow
- kafka
Archives
- Today
- Total
데이터 엔지니어 이것저것
dbt란? 본문
728x90
dbt (Data Build Tool)
- ETL 과정에서 변환 과정을 도와주는 툴
- 분석 코드를 모듈화하고 중앙 집중화
- 쿼리의 버전을 지정하고 테스트 및 문서화
특징
- 모델 기반 접근
데이터 모델 기반으로 접근을 하여, 각 모델간 의존성을 관리 가능 - 테스트 및 문서화
모데을 테스트 하고 문서화 하는 기능을 제공 - 데이터 파이프라인
데이터 파이프라인을 자동으로 생성하고 실행 - 버전 관리
왜 써야하나
- SQL쿼리를 사용하여 데이터 모델링을 수행
- 모델 기반 접근을 통해 모델간 의존성 및 재사용성
- 테스트 및 문서화
- 확장성
728x90
'오픈소스 > dbt' 카테고리의 다른 글
dbt test (0) | 2023.11.14 |
---|---|
dbt snapshot (0) | 2023.11.13 |
dbt sources (1) | 2023.11.12 |
dbt seeds (0) | 2023.11.12 |
dbt 시작하기 (0) | 2023.11.11 |