[rabbitmq] Kafka를 통해 RabbitMQ를 사용해야하는 이유가 있습니까?

RabbitMQ는 AMQP, MQTT, STOMP 등과 같은 여러 프로토콜을 지원 하는 견고한 범용 메시지 브로커 입니다. 높은 처리량을 처리 할 수 ​​있습니다. RabbitMQ의 일반적인 사용 사례는 백그라운드 스캔 또는 파일 스캔 , 이미지 스케일링 또는 PDF 변환 과 같은 장기 실행 작업을 처리하는 것 입니다. RabbitMQ는 또한 마이크로 서비스간에 사용되며, 애플리케이션 간 통신 수단으로 사용되어 메시지를 전달하는 병목 현상을 방지합니다.

Kafka는 대용량 데이터 스트림 및 재생에 최적화 된 메시지 버스 입니다. 많은 양의 데이터를 이동하거나 실시간으로 데이터를 처리하거나 일정 기간 동안 데이터를 분석해야하는 경우 Kafka를 사용하십시오. 즉, 데이터를 수집, 저장 및 처리해야하는 곳입니다. 예를 들어 웹샵에서 사용자 활동을 추적하고 구매 제안 품목을 생성하려는 경우가 있습니다. 또 다른 예는 추적, 수집, 로깅 또는 보안을위한 데이터 분석입니다.

Kafka는 애플리케이션이 디스크에서 스트리밍 된 데이터를 처리하고 재 처리 할 수 있는 내구성있는 메시지 브로커 로 볼 수 있습니다 . Kafka는 매우 간단한 라우팅 접근 방식을 가지고 있습니다. RabbitMQ는 복잡한 방식으로 소비자에게 메시지를 라우팅해야하는 경우 더 나은 옵션을 제공합니다. 오프라인 일 수있는 배치 소비자 또는 대기 시간이 짧은 메시지를 원하는 소비자를 지원해야하는 경우 Kafka를 사용하십시오. 

Kafka에서 데이터를 읽는 방법을 이해하려면 먼저 소비자와 소비자 그룹을 이해해야합니다. 파티션을 사용하면 데이터를 여러 노드로 분할하여 주제를 병렬화 할 수 있습니다. 파티션의 각 레코드는 고유 한 오프셋으로 할당 및 식별됩니다. 이 오프셋은 파티션의 레코드를 가리 킵니다. 최신 버전의 Kafka에서 Kafka는 파티션의 각 레코드에 대한 숫자 오프셋을 유지합니다. Kafka의 소비자는 주기적으로 오프셋을 자동 커밋하거나이 커밋 된 위치를 수동으로 제어하도록 선택할 수 있습니다. RabbitMQ는 소비 / 확인 / 확인되지 않은 메시지에 대한 모든 상태를 유지합니다. 메시지가 잠기면 큐에서 간단히 제거되는 RabbitMQ의 경우보다 Kafka가 이해하기가 더 복잡하다는 것을 알았습니다.

RabbitMQ의 대기열은 비어있을 때 가장 빠르며 Kafka는 오버 헤드가 거의없이 많은 양의 데이터를 유지합니다. Kafka는 대량의 메시지를 보관 및 배포하도록 설계되었습니다. RabbitMQ에서 대기열이 매우 길면 지연 대기열을 볼 수 있습니다 .

Kafka는 수평 확장 (기계를 추가하여 확장)을 염두에두고 처음부터 구축되었으며 RabbitMQ는 주로 수직 확장 (전력을 추가하여 확장)을 위해 설계되었습니다.

RabbitMQ에는 웹 브라우저에서 RabbitMQ 서버를 모니터링하고 처리 할 수있는 사용자 친화적 인 인터페이스가 내장되어 있습니다. 무엇보다도 대기열, 연결, 채널, 교환, 사용자 및 사용자 권한을 브라우저에서 생성, 삭제 및 나열 할 수 있으며 메시지 속도를 모니터링하고 메시지를 수동으로주고받을 수 있습니다. Kafka는 관리 및 모니터링 기능을 제공 하는 여러 가지 오픈 소스 도구와 상용 버전을 가지고 있습니다. RabbitMQ를 잘 이해하는 것이 더 쉽고 빠릅니다.

자세한 내용과 비교 데이터는 https://www.cloudamqp.com/blog/2019-12-12-when-to-use-rabbitmq-or-apache-kafka.html 에서 확인할 수 있습니다.

또한 업계 논문을 추천 : “카프카 대 RabbitMQ : 두 산업 참조 출판 / 구독 구현에 대한 비교 연구”: http://dl.acm.org/citation.cfm?id=3093908

Apache Kafka와 RabbitMQ를 서비스로 제공하는 회사에서 일하고 있습니다.

답변