FastContext: 코딩 에이전트를 위한 효율적인 저장소 탐색 모델 학습

대규모 언어 모델 (LLM) 코딩 에이전트는 소프트웨어 엔지니어링 작업에서 강력한 성과를 거두었으나, 저장소 탐색 (repository exploration)은 여전히 주요한 병목 현상으로 남아 있습니다. 관련 코드를 찾는 과정은 상당한 토큰 예산을 소비하며, 무관한 코드 조각들로 인해 에이전트의 컨텍스트 (context)를 오염시킵니다. 대부분의 에이전트에서는 동일한 모델이 저장소를 탐색하고 작업을 해결하는데, 이로 인해 탐색적인 읽기와 검색 기록이 해결사 (solver)의 이력에 남게 됩니다. 우리는 저장소 탐색을 해결 작업과 분리하는 전용 탐색 서브 에이전트 (exploration subagent)인 FastContext를 제안합니다. 필요에 따라 호출되는 FastContext는 병렬 도구 호출 (parallel tool calls)을 수행하며, 집중된 컨텍스트로서 간결한 파일 경로와 라인 범위를 반환합니다. FastContext는 4B에서 30B 파라미터에 이르는 특화된 탐색 모델들에 의해 구동됩니다. 우리는 강력한 참조 모델 (reference-model)의 궤적 (trajectories)으로부터 이들을 부트스트래핑 (bootstrap)하고, 광범위한 첫 번째 턴 검색, 다중 턴 증거 수집, 그리고 정밀한 인용 생성을 위해 작업 기반 보상 (task-grounded rewards)으로 이를 정교화합니다. SWE-bench Multilingual, SWE-bench Pro, 그리고 SWE-QA에 걸쳐 FastContext를 Mini-SWE-Agent에 통합한 결과, 미미한 오버헤드만으로도 코딩 에이전트의 토큰 소비량을 최대 60%까지 줄이면서 엔드 투 엔드 (end-to-end) 해결률을 최대 5.5%까지 향상시켰습니다. 이러한 결과는 저장소 탐색이 해결 작업으로부터 분리될 수 있으며, 특화된 모델에 의해 효과적으로 처리될 수 있음을 보여줍니다. 코드 및 데이터: https://github.com/microsoft/fastcontext