데이터 엔지니어 이것저것

Debezium insert mode 본문

오픈소스/kafka

Debezium insert mode

pastime 2024. 3. 9. 00:14
728x90

CDC 의 설정 방법은 여러가지가 있지만 그중 insert.mode 세팅 관련

 

 

insert.mode 에는 2가지 설정값이 있다
1. (default) insert
2. upsert

관련 문서 : https://debezium.io/documentation/reference/stable/connectors/jdbc.html#jdbc-idempotent-writes

 

CDC를 할떄 보통 이기종간의 데이터를 한곳(DW)에서 보기위해 작업을 진행하는데

목적에 맞게 insert.mode를 설정하면 될것같다.

 

해당 테이블의 히스토리를 보고싶다 : insert

최신 데이터를 보고싶다 : upsert

 

두 설정값의 차이는

ㅁ upsert

"pk.mode": "record_key",
"delete.enabled": "true",
"insert.mode": "upsert",

 

ㅁ insert

"insert.mode": "insert",

 

728x90

'오픈소스 > kafka' 카테고리의 다른 글

python 으로 ksql 사용하기  (0) 2023.10.29
Ksql 사용해보기  (0) 2023.10.29
CDC 특정 컬럼 제외  (0) 2023.10.28
카프카 커넥터를 이용하여 CDC  (0) 2023.10.28
UI for kafka  (0) 2023.07.01