Notice
Recent Posts
Recent Comments
Link
250x250
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- mysql
- spring boot
- k9s
- bar cahrt
- 모바일
- query history
- docker
- ksql
- 동적 차트
- 크롤링
- Python
- 카프카
- dbt_project
- Java
- DBT
- 도커
- 쿠버네티스
- CDC
- polars
- 윈도우
- Materializations
- freshness
- numpartitions
- kafka
- KubernetesPodOperator
- spark
- airflow
- 파이썬
- proerty
- UI for kafka
Archives
- Today
- Total
목록오픈소스/debezium (2)
데이터 엔지니어 이것저것
디비지움 SMT
SMT란? New Record State Extraction 새 레코드 상태 추출, 데이터 변경 이벤트는 풍부한 정보를 제공하는 복잡한 구조를 가지고 있다. 디비지움 변경 이벤트를 전달하는 카프카 레코드에는 모든 정보가 포함되어있다. 쉽게 kafka를 이용하여 DB간의 SYNC를 맞춘다. +-------------+ | | | MySQL | | | +------+------+ | | | +---------------v------------------+ | | | Kafka Connect | | (Debezium, JDBC connectors) | | | +---------------+------------------+ | | | | +-------v--------+ | | | PostgreSQL | | ..
오픈소스/debezium
2022. 6. 12. 00:18