CDC 특정 컬럼 제외

CDC를 하다보면 개인정보 또는 불필요한 컬럼을 이관하지 않아야 하는경우가 있다.

그럴경우 source에 추가를 하면 되는데

 

{
    "name":"inventory-connector",
    "config":{
       "connector.class":"io.debezium.connector.mysql.MySqlConnector",
       "tasks.max":"1",
       "database.hostname":"mysql",
       "database.port":"3306",
       "database.user":"root",
       "database.password":"debezium",
       "database.server.name":"test",
       "database.include.list":"inventory",
       "database.history.kafka.bootstrap.servers":"kafka1:29092,kafka2:29092,kafka3:29092",
       "database.allowPublicKeyRetrieval":"true",
       "database.history.kafka.topic":"schema-changes.inventory",
        "key.converter": "io.confluent.connect.avro.AvroConverter",
        "value.converter": "io.confluent.connect.avro.AvroConverter",
        "key.converter.schema.registry.url": "http://schema-registry:8081",
        "value.converter.schema.registry.url": "http://schema-registry:8081",
        "column.exclude.list": "inventory.school.secret"
    }
 }

제외하고자 하는 컬럼을 스키마.테이블.컬럼 이런식으로 입력하면 된다.

"column.exclude.list": "inventory.school.secret"

 

 

적용 전 후

적용을 하기전 전체가 넘어갔지만, 적용 후에는 null로 넘어간것을 볼수있다.