RepoMirage: 섭동(Perturbations)을 통한 코드 에이전트의 저장소 컨텍스트 추론 능력 조사

요약

코드 에이전트의 저장소 컨텍스트 추론 능력을 평가하기 위한 새로운 벤치마크인 RepoMirage를 소개합니다. 섭동(perturbation) 기법을 통해 에이전트가 구조적 정보를 활용하는 데 한계가 있음을 밝히고, 이를 개선하기 위한 구조 우선 워크플로우인 RepoAnchor를 제안합니다.

핵심 포인트

• RepoMirage: 저장소 컨텍스트 추론 능력을 진단하는 2단계 평가 스위트
• 섭동 적용 시 에이전트의 성능이 급격히 하락하여 컨텍스트 추론 결함 확인
• 탐색 드리프트(exploration drift) 현상 발견: 구조 정보를 효과적으로 전환하지 못함
• RepoAnchor: 구조적 스캐폴딩을 통해 성능을 개선하는 프로토타입 워크플로우 제안