[배운것 공유] CDC kafka 연계 방법

CDC kafka라는 것은 왜 생기게 되었을까? 데이터를 모으고 공유하기 위한 방법 중 하나이다. sync를 맞춘다가 맞을지도 모른다. 이 개념을 일하면서 알게 되었다. 내가 맡은 일 중 일부가 이 업무로 이루어진다. 가까운 것부터 하나씩 분석하는 것이다. CDC는 간단히 DB의 데이터의 변경이 생기면 그 데이터를 복제한다. CDC에서 복제한 데이터를 kafka에 전송한다. kafka에서는 수신받은 데이터를 db에 저장을 허게 된다. 이때 서로의 테이블명과 칼럼명이 다른 걸 매핑시키는 과정을 거친다. 데이터의 누락을 줄이기 위해 수신된 데이터는 복제과정을 거친다. 복제된 데이터는 파일 형태로 저장이 된다. 

간단한 내용만 적었지만 내용이 방대하므로 하나씩 배우며 공유하려 한다.

 

문서상에는 CDC와 kafka를 EAI연계를 통해 통신한다 하는데 그 부분을 알아봐야겠다. 그리고 여기에 사용된 라이브러리의 기능도 보면서 개념정리를 할까 한다.