Study/Kafka

주키퍼 카프카 클러스터 관리 용도로만 간략히 알고 넘어가자 기존에는 카프카 사용 시 주키퍼가 필수였으나, 주키퍼 사용시 제약사항이나 한계성에 의해 주키퍼와 카프카의 연결고리를 끊고 있다. Apache Kafka 2.8 버전부터 주키퍼 대신 kraft 를 사용할 수 있으나, 2.8.x 버전 부터 3.2.x 버전까지는 개발 단계(얼리 액세스,early access) 입니다. Kafka 3.3.1 버전에서 부터 Production(운영)에서 사용할 준비가 되었음 발표하면서 KRaft 지원과 ZooKeeper 지원종료(제거)에 대한 릴리즈 타임라인을 발표 하였습니다. 브로커 일반적으로 카프카라고 불리는 시스템(어플리케이션)을 말한다. 컨트롤러 다수의 브로커 중 한대가 컨트롤러 역할을 한다 파티션 할당, 정상 동..

레코드 카프카 데이터 단위 구성요소 헤더 타임스탬프 : 시간을 저장하는 용도 오프셋 : 레코드의 고유한 번호 브로커에 적재될 때 오프셋이 지정된다. 메세지 키 : 파티셔닝(분류)를 위해 사용한다. 기본적으로 해시 알고리즘 사용해 파티셔닝함 키가 동일하면 항상 같은 파티션에 들어가기 때문에 순서 보장 가능 메세지 값 : 내부적으로 바이트 형태로 저장해 직렬화, 역직렬화가 필요하다. 파티션 큐 구조로 레코드(메시지)를 저장하는 공간 참고 : 파티션의 개수는 늘어날 수는 있어도 줄어들 수 없다. 파티션 개수를 줄이지 못하는 이유는 카프카를 이루는 여러 설계 요인들이 복합적으로 적용되기 때문입니다. 그중 하나는 다수 브로커에 분배되어 있는 세그먼트를 다시 재배열하는 것에 상당한 리소스가 들어가는 것이라고 말씀드..

카프카 링크드인 내부 이슈 해결하려고 만들어진 이벤트 스트리밍 플랫폼 (스칼라로 만들어짐) 이벤트 : 특별한 데이터 상태의 변화를 나타내는 데이터 스트리밍 : 이벤트 데이터의 지속적인 흐름 스트리밍 데이터에는 시작과 끝이 없다. 스트리밍 데이터 : 지속적으로 생성되는 데이터 이벤트 스트리밍 : 다양한 비즈니스 로직에서 발생하는 이벤트 데이터들을 적합한 장소에 실시간으로 전달해줄 수 있는 기술 고성능 TCP 네트워크 프로토콜로 통신하는 서버와 클라이언트로 구성된 분산 시스템 ⁉️TCP 관련 이슈 https://jinhanchoi1.medium.com/kafkaconsumer-and-tcp-connection-5a2c8b197732 KafkaConsumer는 내부적으로 NetworkClient를 통해 Req..