대용량 데이터 처리 아파치 카프카(Apache Kafka)란?
오늘의 개발 스터디 백엔드 아키텍처와 대용량 데이터 파이프라인에서 빼놓을 수 없는 핵심 기술,아파치 카프카(Apache Kafka)에 대해 알아보겠습니다. 1. 카프카가 등장한 이유 (기존 메시징 시스템의 한계)사용자의 로그, 결제 정보, 알림 데이터 등 수많은 데이터 흐름을 어떻게 하면 꼬이지 않고 안정적으로 처리할 수 있을까요?이 고민을 해결하기 위해 링크드인(LinkedIn)에서 처음 개발하고 현재는 오픈소스로 널리 쓰이는 시스템이 바로 카프카입니다.카프카 이전에는 소스 애플리케이션(데이터를 보내는 곳)과 타깃 애플리케이션(데이터를 받는 곳)이1:1로 직접 연결되는 경우가 많았습니다.이 방식은 서비스 초기에는 직관적이고 편하지만, 서비스가 커지면 다음과 같은 치명적인 문제가 발생합니다.복잡도 증..