Kafka 카프카

카프카

• 링크드인 내부 이슈 해결하려고 만들어진 이벤트 스트리밍 플랫폼 (스칼라로 만들어짐)
  • 이벤트 : 특별한 데이터 상태의 변화를 나타내는 데이터
  • 스트리밍 : 이벤트 데이터의 지속적인 흐름
    • 스트리밍 데이터에는 시작과 끝이 없다.
  • 스트리밍 데이터 : 지속적으로 생성되는 데이터
  • 이벤트 스트리밍 : 다양한 비즈니스 로직에서 발생하는 이벤트 데이터들을 적합한 장소에 실시간으로 전달해줄 수 있는 기술
• 고성능 TCP 네트워크 프로토콜로 통신하는 서버와 클라이언트로 구성된 분산 시스템
  • ⁉️TCP 관련 이슈
    • https://jinhanchoi1.medium.com/kafkaconsumer-and-tcp-connection-5a2c8b197732 
    • KafkaConsumer는 내부적으로 NetworkClient를 통해 Request를 생성하여 자신의 요청을 Broker에게 보낸다.
      • 메타데이터 요청 -> TCP Connection 1개
      • 코디네이터 정보 요청 -> TCP Connection 1개
      • 컨슘 -> TCP Connection 1개
    • 총 3개의 TCP 커넥션을 물고 시작한다.
    • 만약 해당 컨슘을 수행하는 Thread가 Partition을 할당 받지 못해서 유휴 상태가 된다면? 2개의 Tcp Connection만을 그대로 물고 종료되지 않는다.(다른 컨슈머가 죽으면 재할당 가능하기 때문으로 보임)
    • 즉, 커넥션 갯수와 현재 Thread * 3 의 숫자와 맞지 않는다면, 놀고 있는 Thread가 존재하고 커넥션이 2개씩 놀고 있다는 사실을 잘 알아야 한다.

 

카프카가 데이터 파이프라인으로 적합한 이유 

Random memory Access보다도 빠르다.

• 높은 처리량
  • Sequential Access I/O
    • 그냥 파일 끝에 데이터를 추가하는 단순한 자료 구조를 사용
  • Zero Copy : 디스크 버퍼에서 네트워크 버퍼로 직접 데이터를 복사한다. (sendfile() 시스템콜)
  • 배치 옵션 : 네트워크 비용 줄일 수 있음.
  • 스케일아웃 가능 : 파티션 개수만큼 컨슈머 개수를 늘려서 데이터 처리량을 늘릴 수 있다.
• 확장성 : 무중단 스케일 인/아웃 가능
• 영속성 : 카프카는 파일 시스템에 저장을 한다. 페이지 캐시 영역을 사용해 메모리에 저장해 속도 보장
  • 페이지 캐시 : 처리한 데이터를 메인 메모리 영역(RAM)에 저장해서 가지고 있다가, 다시 이 데이터에 대한 접근이 발생하면 disk에서 IO 처리를 하지 않고 메인 메모리 영역의 데이터를 반환하여 처리할 수 있도록 하는 컴포넌트
    • producer가 서버인 broker에게 넣는 데이터는 consumer가 사용하기 전 일정 시간동안 page cache 올려두어, consumer가 데이터를 읽어 갈 때 그 읽어가는 속도를 빠르게 한다는 것으로 이해하면 되겠다.
• 고가용성 : 프로듀서에서 데이터를 보내면 모든 브로커에 저장되기 때문에 장애 대응 가능

 

👍 Reference

https://godekdls.github.io/Apache Kafka/contents/

https://d2.naver.com/helloworld/0974525

https://medium.com/sjk5766/kafka-disk-i-o%EA%B0%80-%EB%B9%A0%EB%A5%B8-%EC%9D%B4%EC%9C%A0-899c4da5084

Kafka Disk I/O가 빠른 이유

https://medium.com/@tas.com/%ED%8C%8C%EC%9D%BC-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%97%90-%EB%8C%80%ED%95%9C-%EA%B8%B0%EC%B4%88%EC%A0%81%EC%9D%B8-%EA%B0%9C%EB%85%90%EC%A0%95%EB%A6%AC-9144dabce95d