컴퓨터 과학 > 계산 및 언어
제목: 하이브리드 추론 에이전트 (Hybrid Reasoning Agents)
[Abstract]: 인간의 언어를 넘어 생각하면서도 외부 환경에서는 여전히 그 언어를 통해 행동할 수 있는 에이전트를 어떻게 구축할 수 있을까요? 현대 LLM 에이전트는 여전히 텍스트를 통해 추론하고 상호작용하는 반면, 잠재적 추론(latent reasoning)은 효율적인 내부 매체를 제공하지만 네이티브 도구 접근 및 추론 투명성이 부족합니다. 우리는 하이브리드 추론 에이전트 (Hybrid Reasoning Agents, HybridAgents)를 통해 이 두 방향을 연결하며, 이는 통합된 생성 과정 전반에 걸쳐 잠재적 추론과 텍스트 기반 상호작용 사이를 동적으로 탐색합니다. 구조적으로는 경량의 HybridLink가 텍스트 모드와 잠재적 모드 간의 원활한 전환을 가능하게 하며, 에이전트의 연속적인 작업 메모리(working memory)는 여러 턴에 걸쳐 손실 없는 하이브리드 컨텍스트를 보존합니다. 이러한 설계는 도구 통합형 에이전트 기능을 유지하면서 잠재적 사고 과정을 직접 검사할 수 있게 만듭니다. 이 아키텍처를 기반으로, 우리는 하이브리드 추론을 위한 전용 사후 훈련 알고리즘(post-training algorithms)을 추가로 개발했습니다: HybridSFT는 백본(backbone)이 HybridLink와 협력하도록 학습함으로써 도구 통합형 하이브리드 생성을 안정화하고, 이후 HybridRL은 잠재 공간에서 생각할 때와 텍스트를 통해 행동할 때를 학습하여 추론 능력을 확장합니다. 우리는 수학, 과학, 의학, 검색 및 에이전트적 추론을 포괄하는 11가지 벤치마크에서 3가지 모델 규모로 HybridAgent를 평가했습니다. 텍스트 기반 및 잠재적 방법을 모두 아우르는 최첨단 LLM 에이전트 및 에이전트 프레임워크와 비교했을 때, HybridAgent는 성능을 일관되게 10.4% 향상시키는 동시에, 토큰 사용량을 35.5%-54.7% 줄이고, 추론 속도를 1.8배-2.6배 빠르게 하며, 비용 절감 효과를 2.7배-3.7배 제공합니다. 코드와 데이터는 이 URL에서 이용 가능합니다.
현재 브라우징 컨텍스트:
본 논문과 관련된 코드, 데이터 및 미디어 (Code, Data and Media Associated with this Article)
데모 (Demos)
arXivLabs는 협업자들이 저희 웹사이트에서 새로운 arXiv 기능을 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs를 이용하는 개인 및 조직들은 개방성(openness), 커뮤니티, 탁월함(excellence), 그리고 사용자 데이터 프라이버시라는 우리의 가치를 받아들이고 수용해 왔습니다. arXiv는 이러한 가치에 전념하며, 이를 준수하는 파트너와만 협력합니다.
arXiv의 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 더 알아보기.
