오픈 소스 공개를 준비하며 진행한 성능 벤치마크 결과 공유

요약

개발팀은 온디바이스 에이전트 플랫폼 구동을 위해 전용 Rust 기반 추론 엔진인 llminfra를 구축하고 성능 벤치마크 결과를 공유했습니다. 이 엔진은 기존 추론 엔진 대비 컨텍스트에서의 TTFT, 콜드 스타트 시간 등 여러 핵심 지표에서 압도적인 성능 향상을 입증하며 로컬 멀티-에이전트 시스템의 효율성을 높였습니다.

핵심 포인트

• 250K 컨텍스트 턴 TTFT가 기존 대비 13.4배 빨라졌습니다.
• 콜드 스타트 시간이 6.1초로, 기존 대비 34.8배 단축되었습니다.
• 에이전트 루프의 후속 지연 시간을 크게 줄여 워크플로우를 개선했습니다.
• 높은 에이전트 부하에서 처리량이 최대 3.1배까지 향상되었습니다.