데이터 엔지니어 이것저것

CDC를 하다보면 개인정보 또는 불필요한 컬럼을 이관하지 않아야 하는경우가 있다. 그럴경우 source에 추가를 하면 되는데 { "name":"inventory-connector", "config":{ "connector.class":"io.debezium.connector.mysql.MySqlConnector", "tasks.max":"1", "database.hostname":"mysql", "database.port":"3306", "database.user":"root", "database.password":"debezium", "database.server.name":"test", "database.include.list":"inventory", "database.history.kafka.boo..

Mysql과 psotgresql을 kafka connector를 이용하여 싱크를 맞추는 작업 http://localhost:8083/connectors 에 post를 하면 된다. source { "name":"inventory-connector", "config":{ "connector.class":"io.debezium.connector.mysql.MySqlConnector", "tasks.max":"1", "database.hostname":"mysql", "database.port":"3306", "database.user":"root", "database.password":"debezium", "database.server.name":"test", "database.include.list":"in..

결론부터 말하면 탈락 준비 과정 : 유데미에서 카프카 강의 및 문제 문제들 https://www.udemy.com/course/confluent-certified-developer-for-apache-kafka/ https://www.udemy.com/course/confluent-certified-apache-kafka-developer-practice-exams/ 후기 시험을 제출하자 마자 Fail ㅎㅎ; 기본적으로 풀어본 문제들과 시험에 나온 문제가 잘 맞지 않아서 아쉬웠다. 기본적으로 푼 문제들은 kafka 설정에 관한 문제들이 많았는데, 최근 시험을 보니 스트리밍 관련 문제들이 다수 였다. 스트리밍 내용과 쿼리 등의 문제들이 과장하면 문제의 20%-30% 정도 된것같다 확실히 카프카가 스트리밍에..

Schema Registy란? 아파치 카프카에서 사용하는 메시지 스키마를 관리하는 것으로, 메시지의 스키마를 저장하고 관리형, 프로듀서와 컨슈머 간의 메시지의 일관성을 유지하기 위해 사용 컨플루언트에서 개발도니 오픈소스로, REST API를 통해 스키마를 등록하고 검색 스키마 레지스트리 스키마 호환성 레벨 (SCHEMA REGISTRY SCHEMA COMPATIBILITY LEVEL) forward 새로운 시키마가 기존 스키마에 대해 호환성을 유지 새로운 필드를 추가하는 경우 호환성을 보장하지만, 삭제되는 경우 호환성을 보장하지 않는다. 컨슈머에서 사용되며, 스키마가 변경되면 최신 버전의 스키마를 사용 backward 기존 스키마가 새로운 스키마에 대해 역호환성을 유지 새로운 필드가 추가되거나 삭제될 경..