StreamFusion - Flink SQL을 Rust 기반 네이티브 실행기로 가속하는 도구

요약

StreamFusion은 Flink SQL 쿼리를 Rust, Apache Arrow, DataFusion 기반의 네이티브 실행기로 가속하는 도구입니다. 이 아키텍처는 데이터 처리를 row 단위가 아닌 Arrow batch로 교환하여 JVM 오버헤드를 줄이고 처리량을 극대화합니다. 기존 스트리밍 작업을 수정 없이 적용할 수 있으며, 메모리/RocksDB 상태 저장에서 최대 3배 이상의 성능 향상을 입증했습니다.

핵심 포인트

• Rust 기반 네이티브 실행기로 Flink SQL을 가속하여 높은 처리량을 달성합니다.
• 데이터 교환 시 Arrow batch를 사용해 row 단위 처리에 따른 JVM 비용을 절감합니다.
• 기존 스트리밍 작업에 애플리케이션 코드 수정 없이 적용 가능하며, Flink가 상태 관리를 담당합니다.
• 메모리 기반 및 RocksDB 기반 상태 저장에서 최대 3배 이상의 성능 향상을 기록했습니다.