스트리밍 도구 사용은 언제 도움이 되는가? 스트리밍 검색 증강 생성 (Streaming RAG)에서의 도구 의도 안정화 특성 분석

요약

사용자의 입력이 완료되기 전 도구 쿼리를 미리 발행하여 지연 시간을 줄이는 Streaming RAG의 '도구 의도 안정화' 특성을 분석한 연구입니다. CRAG 벤치마크를 통해 도구 지연 시간과 입력 속도에 따른 지연 시간 은닉 가능성을 모델 불가지론적 상한으로 도출했습니다.

핵심 포인트

• Streaming RAG의 핵심인 도구 의도 안정화 개념 정의 및 측정
• 도구 지연 시간과 입력 속도 간의 관계를 통한 지연 시간 은닉 상한 도출
• 벤치마크 결과, 73.9%의 쿼리가 유의미한 지연 시간 은닉 가능함을 확인
• 질문 유형에 따른 조기/후기 안정화 예측 가능성 식별