레코드, 파티션, 토픽

레코드

• 카프카 데이터 단위
• 구성요소
  • 헤더
  • 타임스탬프 : 시간을 저장하는 용도
  • 오프셋 : 레코드의 고유한 번호
    • 브로커에 적재될 때 오프셋이 지정된다.
  • 메세지 키 : 파티셔닝(분류)를 위해 사용한다. 
    • 기본적으로 해시 알고리즘 사용해 파티셔닝함
    • 키가 동일하면 항상 같은 파티션에 들어가기 때문에 순서 보장 가능
  • 메세지 값 : 내부적으로 바이트 형태로 저장해 직렬화, 역직렬화가 필요하다.

 

파티션

• 큐 구조로 레코드(메시지)를 저장하는 공간
• 참고 : 파티션의 개수는 늘어날 수는 있어도 줄어들 수 없다.

파티션 개수를 줄이지 못하는 이유는 카프카를 이루는 여러 설계 요인들이 복합적으로 적용되기 때문입니다. 그중 하나는 다수 브로커에 분배되어 있는 세그먼트를 다시 재배열하는 것에 상당한 리소스가 들어가는 것이라고 말씀드릴 수 있습니다.
https://cwiki.apache.org/confluence/display/KAFKA/KIP-694%3A+Support+Reducing+Partitions+for+Topics

• 세그먼트 : 레코드가 저장되는 물리적인 파일
  • 세그먼트 파일 내부에 데이터가 로그 형태로 쌓인다.
    • 로그 : append 되면서 update 되지 않는 데이터
  • 액티브 세그먼트 : 가장 최신의 세그먼트 로그
    •  브로커가 write를 수행하는 단 하나의 Segment가 Active Segment

토픽

• RDBMS의 테이블과 같은 개념. 파일 시스템의 폴더와 유사하다.
• 구분 하고자 하는 데이터의 구분
• 제약 조건 : 이름 변경을 지원하지 않는다. 신중하게 지을 것
• 생성 방법
  • 카프카 컨슈머 또는 프로듀서가 생성되지 않은 토픽에 대해 데이터를 요청할 때 자동 생성
    • 개발환경에서는 이런식으로 생성하곤 한다.
  • Kafka-topics.sh로 생성
• 하나 이상의 파티션을 가지고, 각 파티션은 1개의 리더 레플리카와 0개 이상의 팔로워 레플리카로 구성된다.

• 예를 들어, 브로커 3개에 파티션 5개면, 0번 브로커에서부터 시작해서 라운드로빈 형식으로 리더 파티션이 배치된다.
  • 라운드 로빈 장점 : 데이터 처리 분산 가능 -> 리더 파티션 몰아놓으면 그 브로커의 리소스 사용량이 엄청 커짐
    

👍 Reference

https://godekdls.github.io/Apache Kafka/contents/

https://d2.naver.com/helloworld/0974525

https://medium.com/sjk5766/kafka-disk-i-o%EA%B0%80-%EB%B9%A0%EB%A5%B8-%EC%9D%B4%EC%9C%A0-899c4da5084

Kafka Disk I/O가 빠른 이유

https://medium.com/@tas.com/%ED%8C%8C%EC%9D%BC-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%97%90-%EB%8C%80%ED%95%9C-%EA%B8%B0%EC%B4%88%EC%A0%81%EC%9D%B8-%EA%B0%9C%EB%85%90%EC%A0%95%EB%A6%AC-9144dabce95d

페이지 캐시와 버퍼 캐시, 그리고 리눅스 파일 시스템

https://magpienote.tistory.com/252