BlobShuffle: Kafka Streams를 예시로 한 객체 스토리지 기반 스트림 처리 시스템의 비용 효율적인 재분할

요약

BlobShuffle은 클라우드 객체 스토리지를 활용하여 스트림 처리 시스템의 셔플링 비용을 획기적으로 절감하는 새로운 접근 방식을 제안합니다. Kafka Streams의 애드온 형태로 구현되어 기존 인프라 수정 없이도 높은 비용 효율성과 성능을 제공합니다.

핵심 포인트

• 객체 스토리지를 중간 계층으로 활용해 셔플링 비용 40배 절감
• 배치 처리 및 분산 캐싱을 통해 비용과 지연 시간 간의 균형 최적화
• Kafka Streams 애드온 방식으로 기존 애플리케이션 수정 최소화
• 95 백분위수 지연 시간 2초 미만 및 초당 2 GiB 이상의 처리량 달성