Apache Kafka란? Producer·Consumer 동작 원리와 토픽·파티션 개념 정리
초당 수백만 건의 이벤트를 처리하는 넷플릭스, 링크드인, 우버의 데이터 파이프라인 한가운데 Kafka가 있습니다. Apache Kafka의 Producer·Consumer 동작 원리를 이해하면 왜 Kafka가 단순한 메시지 큐를 넘어 “이벤트 스트리밍 플랫폼”으로 불리는지가 보입니다. 메시지가 어떻게 파티션에 쌓이고, 컨슈머 그룹이 어떻게 부하를 나누며, 오프셋이 왜 장애 복구의 핵심인지를 코드와 다이어그램으로 완전히 풀어드립니다. 2025년 3월 출시된 Apache Kafka 4.0은 10년 […]