Notice
Recent Posts
Recent Comments
Link
250x250
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- ksql
- numpartitions
- spring boot
- Java
- KubernetesPodOperator
- 동적 차트
- 윈도우
- proerty
- 모바일
- CDC
- dbt_project
- k9s
- 도커
- 카프카
- Materializations
- 크롤링
- Python
- docker
- 쿠버네티스
- UI for kafka
- bar cahrt
- mysql
- DBT
- spark
- query history
- polars
- kafka
- airflow
- freshness
- 파이썬
Archives
- Today
- Total
데이터 엔지니어 이것저것
Debezium insert mode 본문
728x90
CDC 의 설정 방법은 여러가지가 있지만 그중 insert.mode 세팅 관련
insert.mode 에는 2가지 설정값이 있다
1. (default) insert
2. upsert
관련 문서 : https://debezium.io/documentation/reference/stable/connectors/jdbc.html#jdbc-idempotent-writes
CDC를 할떄 보통 이기종간의 데이터를 한곳(DW)에서 보기위해 작업을 진행하는데
목적에 맞게 insert.mode를 설정하면 될것같다.
해당 테이블의 히스토리를 보고싶다 : insert
최신 데이터를 보고싶다 : upsert
두 설정값의 차이는
ㅁ upsert
"pk.mode": "record_key",
"delete.enabled": "true",
"insert.mode": "upsert",
ㅁ insert
"insert.mode": "insert",
728x90
'오픈소스 > kafka' 카테고리의 다른 글
python 으로 ksql 사용하기 (0) | 2023.10.29 |
---|---|
Ksql 사용해보기 (0) | 2023.10.29 |
CDC 특정 컬럼 제외 (0) | 2023.10.28 |
카프카 커넥터를 이용하여 CDC (0) | 2023.10.28 |
UI for kafka (0) | 2023.07.01 |