전체 글

주키퍼 카프카 클러스터 관리 용도로만 간략히 알고 넘어가자 기존에는 카프카 사용 시 주키퍼가 필수였으나, 주키퍼 사용시 제약사항이나 한계성에 의해 주키퍼와 카프카의 연결고리를 끊고 있다. Apache Kafka 2.8 버전부터 주키퍼 대신 kraft 를 사용할 수 있으나, 2.8.x 버전 부터 3.2.x 버전까지는 개발 단계(얼리 액세스,early access) 입니다. Kafka 3.3.1 버전에서 부터 Production(운영)에서 사용할 준비가 되었음 발표하면서 KRaft 지원과 ZooKeeper 지원종료(제거)에 대한 릴리즈 타임라인을 발표 하였습니다. 브로커 일반적으로 카프카라고 불리는 시스템(어플리케이션)을 말한다. 컨트롤러 다수의 브로커 중 한대가 컨트롤러 역할을 한다 파티션 할당, 정상 동..

레코드 카프카 데이터 단위 구성요소 헤더 타임스탬프 : 시간을 저장하는 용도 오프셋 : 레코드의 고유한 번호 브로커에 적재될 때 오프셋이 지정된다. 메세지 키 : 파티셔닝(분류)를 위해 사용한다. 기본적으로 해시 알고리즘 사용해 파티셔닝함 키가 동일하면 항상 같은 파티션에 들어가기 때문에 순서 보장 가능 메세지 값 : 내부적으로 바이트 형태로 저장해 직렬화, 역직렬화가 필요하다. 파티션 큐 구조로 레코드(메시지)를 저장하는 공간 참고 : 파티션의 개수는 늘어날 수는 있어도 줄어들 수 없다. 파티션 개수를 줄이지 못하는 이유는 카프카를 이루는 여러 설계 요인들이 복합적으로 적용되기 때문입니다. 그중 하나는 다수 브로커에 분배되어 있는 세그먼트를 다시 재배열하는 것에 상당한 리소스가 들어가는 것이라고 말씀드..

read() -> send() 한다고 가정해보자 read()를 요청하면 디스크에 있는 파일이 커널 Read Buffer에 복사된다. Application이 커널단에 접근할 수 없기 때문에 Application Buffer에도 복사된다. send()를 요청하면 커널 Socet Buffer에 파일이 복사된다. NIC 버퍼로 복사된다. 컨텍스트 스위칭 다량 발생 사용자가 transferTo() 메소드를 이용해 파일 전송을 요청한다. read()와 send() 함수가 하나로 합쳐진 형태의 시스템 콜이다. 디스크에 있는 파일이 커널 Read Buffer에 복사된다. 커널 모드에서 유저 모드로 컨텍스트 스위칭하지 않고 바로 Socket buffer로 데이터를 복사한다. Socket buffer에 복사된 데이터를 D..

카프카 링크드인 내부 이슈 해결하려고 만들어진 이벤트 스트리밍 플랫폼 (스칼라로 만들어짐) 이벤트 : 특별한 데이터 상태의 변화를 나타내는 데이터 스트리밍 : 이벤트 데이터의 지속적인 흐름 스트리밍 데이터에는 시작과 끝이 없다. 스트리밍 데이터 : 지속적으로 생성되는 데이터 이벤트 스트리밍 : 다양한 비즈니스 로직에서 발생하는 이벤트 데이터들을 적합한 장소에 실시간으로 전달해줄 수 있는 기술 고성능 TCP 네트워크 프로토콜로 통신하는 서버와 클라이언트로 구성된 분산 시스템 ⁉️TCP 관련 이슈 https://jinhanchoi1.medium.com/kafkaconsumer-and-tcp-connection-5a2c8b197732 KafkaConsumer는 내부적으로 NetworkClient를 통해 Req..

UDP L4 Transport 프로토콜 단순하고 빠르다. 연결지향 X / 데이터 전달 보증 X / 순서보장 X IP에서 Port와 체크섬만 추가된 개념 커스터마이징이 용이함 TCP L4 Transport 프로토콜 데이터 단위 : 세그먼트 논리적인 연결임을 기억하자. LAN 케이블을 분리했다가 다시 연결해도 TCP 연결은 일정시간동안 연결되어 있다. 무선 연결을 생각하면 더 쉽다 커널 소켓은 두 개의 버퍼를 가지고 있다 송신용으로 준비한 send socket buffer 수신용으로 준비한 receive socket buffer 소켓과 연결된 TCP Control Block(TCB) 구조체가 있다. TCB에 있는 데이터는 connection state(LISTEN, ESTABLISHED, TIME_WAIT ..