Kafka 핵심 가이드 정리 - Chapter 1 카프카 훑어보기

메시지 발행과 구독하기

아파치 카프카(Apache Kafka)에 대해 알아보기 전 메시지 발행/구독(publish/subscribe)의 개념을 먼저 알아야 한다.

메시지 발행/구독 시스템에서는 메시지를(데이터) 발행자(전송자)가 직접 구독자(수신자)에게 보내지 않고 발행자가 메시지를 발행/구독 시스템에 전송하면 구독자가 메시지를 구독할 수 있게 해 준다.이때 발행된 메시지를 저장하고 중계하는 역할을 브로커(borker)가 수행한다.

초기의 발행/구독 시스템

발행/구독이 직접적으로 연결된 단일 메트릭

 

대부분의 발행/구독 시스템은 메시지 큐나 프로세스 간 통신 채널을 갖는 형태로 시작.

메트릭을 전송하는 애플리케이션 서비스( 프런트엔드서버)를 생성해야 하며, 대시보드 화면에 그 정보를 보여주는 애플리케이션 서비스(메트릭 UI)와 직접 연결하여 사용한다.

해당 방법은 메트릭의 모니터링을 처음 시작할때 사용할 수 있는 간단한 방법이다. 하지만, 여러 애플리케이션을 추가할 때 마다 복잡한 연결이 될 수 있다.

발행/구독이 직접 연결된 여러 종류 시스템

 

이 아키텍처를 개선한게 모든 애플리케이션의 메트릭을 하나의 애플리케이션이 수신하게 하고, 하나의 서버로 제공하면 해당 메트릭이 필요한 어떤 시스템에서도 쉽게 조회할 수 있다. 아래의 이미지가 이상적인 메시지 발행/구독 시스템이다.

메트릭 발행/구독 시스템

개별적인 메시지 큐 시스템

참고

- https://book.naver.com/bookdb/book_detail.nhn?bid=14093855