Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 긴 문맥 추론 제약을 해결하기 위해 제안된 '체인형 재귀 언어 모델(Chained RLM)'에 관한 연구입니다. 단일 경로 추론 대신 문제를 부분 작업으로 나누고, 압축된 요약과 아티팩트를 통해 모델을 반복 호출하여 추론의 정확도를 높이는 아키텍처를 다룹니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)에서의 긴 문맥 추론 (Long context reasoning)은 단일 추론 경로 (inference trajectory)가 문맥을 탐색하고, 중간 상태를 저장하며, 증거를 검증하고, 최종 답변을 생성하는 과정을 동시에 수행해야 한다는 사실로 인해 대개 제약을 받습니다. 이는 추출, 계수, 순서 지정 또는 다단계 추론 (multi-hop reasoning)이 필요한 작업에서 특히 어려워지는데, 초기 단계의 실수가 최종 응답까지 전파될 수 있기 때문입니다. 본 연구에서는 추론 시간 아키텍처 (inference-time architecture)인 체인형 재귀 언어 모델 (Chained Recursive Language Models, Chained RLM)을 제안합니다. 이 모델에서는 동일한 기반 모델이 일련의 새로운 추론 루트 (reasoning roots)로서 반복적으로 호출됩니다. 각 루트는 원래의 문제와 문맥을 전달받지만, 전체 대화 기록을 상속받지는 않습니다. 대신, 압축된 평문 요약 (plain-text summary), 평문 블랙보드 (plain-text blackboard), 그리고 이전 루트들이 작성한 일부 영구적인 작업별 아티팩트 (task-specific artifacts)를 전달받습니다. 이러한 방식의 동기는 하나의 거대한 추론 응답 대신 부분적인 작업들로 나누어 문맥을 관리하는 것입니다. 각 단계별 계산에서 중간 아티팩트들은 동일한 모델의 이후 새로운 추론에 의해 검사, 수정 및 확장될 수 있습니다. 본 논문에서는 이 시스템의 시스템 모델, 핸드오프 메커니즘 (handoff mechanism), 아티팩트 작업 공간 (artifact workspace), 그리고 평가 프로토콜 (evaluation protocol)을 설명합니다. 우리는 재귀적 도구 호출 (recursive tool-calling)이 있는 경우에도, 새로운 문맥의 아티팩트 연속성이 직접적인 LLM 답변 방식에 비해 정확도 측면에서 측정 가능한 이득을 제공하는 시점이 언제인지 연구합니다.