Apache Kafka 동작 원리를 제대로 이해하지 못한 채 도입하면, 설정 한 줄 차이로 메시지가 유실되거나 브로커가 과부하 상태에 빠지는 상황을 맞이하게 됩니다. 하루에 수천억 건의 이벤트를 처리하는 LinkedIn, Netflix, Uber가 공통으로 선택한 이 플랫폼은 단순한 메시지 큐가 아닙니다. 디스크 기반 순차 I/O, Zero-Copy 전송, 분산 복제 구조가 결합된 분산 이벤트 스트리밍 플랫폼입니다. 이 글에서는 Kafka가 […]
초당 수백만 건의 이벤트를 처리하는 넷플릭스, 링크드인, 우버의 데이터 파이프라인 한가운데 Kafka가 있습니다. Apache Kafka의 Producer·Consumer 동작 원리를 이해하면 왜 Kafka가 단순한 메시지 큐를 넘어 “이벤트 스트리밍 플랫폼”으로 불리는지가 보입니다. 메시지가 어떻게 파티션에 쌓이고, 컨슈머 그룹이 어떻게 부하를 나누며, 오프셋이 왜 장애 복구의 핵심인지를 코드와 다이어그램으로 완전히 풀어드립니다. 2025년 3월 출시된 Apache Kafka 4.0은 10년 […]