LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG

요약

LatentRAG는 복잡한 질문에 대응하는 에이전트형 검색 증강 생성(RAG)의 높은 추론 지연 시간을 해결하기 위해 제안된 새로운 프레임워크입니다. 기존 방식들이 자연어 사고와 서브쿼리를 토큰 단위로 명시적으로 생성하여 지연 시간이 길었던 것과 달리, LatentRAG는 숨겨진 상태에서 한 번의 전방 전달만으로 잠재 공간에 대한 사고 및 서브쿼리 토큰을 효율적으로 생성합니다. 이 접근 방식은 검색 과정과 LLM 추론 과정을 통합하고 병렬 잠재 해독 메커니즘을 통해 성능 저하 없이 지연 시간을 획기적으로 줄여, 에이전트형 RAG의 실용성을 크게 향상시킵니다.

핵심 포인트

• LatentRAG는 복잡한 질문 처리를 위한 에이전트형 RAG의 높은 추론 지연 시간 문제를 해결하는 것을 목표로 합니다.
• 기존 방식과 달리, LatentRAG는 잠재 공간(latent space)에서 사고 및 서브쿼리 토큰을 한 번의 전방 전달(forward pass)만으로 생성하여 효율성을 극대화합니다.
• 잠재 공간에서의 LLM과 밀도 검색 모델 정렬을 통해 엔드 투 엔드 공동 최적화를 지원하며, 잠재 서브쿼리에 대한 검색이 가능해집니다.
• 병렬 잠재 해독(parallel latent decoding) 메커니즘을 통합하여 추론의 투명성을 유지하면서 지연 시간을 획기적으로 줄였습니다 (약 90% 감소).