LLM 에이전트는 코드 저장소를 볼 수 있는가

대규모 언어 모델 (LLM) 기반의 코딩 에이전트들은 소프트웨어 엔지니어링 작업에서 강력한 성능을 입증해 왔습니다. 하지만 대부분의 에이전트는 저장소 (repository)를 거의 전적으로 텍스트로서만 소비하는데, 이는 인간 개발자들이 대규모 코드베이스에서 자신의 위치를 파악하기 위해 폴더 계층 구조나 의존성 관계와 같은 시각적 구조를 사용하는 방식과는 다릅니다. 멀티모달 대규모 언어 모델 (MLLM)을 통해, 에이전트가 저장소의 시각적 표현으로부터 효과적으로 이득을 얻을 수 있는지 여부는 아직 미해결 과제로 남아 있습니다. 본 논문은 저장소 수준의 이슈 해결 (issue resolution) 작업에서 LLM 기반 에이전트를 위한 시각적 저장소 표현에 관한 최초의 체계적인 실증 연구를 제시합니다. 우리는 최근의 네 가지 멀티모달 모델을 평가합니다. 연구 결과에 따르면, 엄격한 시각 전용 (vision-only) 설정은 정확도를 저하시키고 토큰 비용을 증가시키는데, 이는 에이전트가 충분한 기호적 세부 사항 (symbolic detail)이 부족하여 반복적인 시각적 쿼리로 이를 보완하기 때문입니다. 반면, 표준 텍스트 인터페이스와 함께 저장소 구조의 시각적 그래프를 보조적인 모달리티 (modality)로 통합하면 에이전트가 구조를 더 효율적으로 이해하는 데 도움이 됩니다. 이 경우 입력 토큰 소비는 최대 26%까지 감소하는 동시에 이슈 해결 정확도는 유지되거나 향상됩니다. 시각화는 결함 위치 파악 (fault localization) 단계와 에이전트가 탐색 깊이를 자율적으로 제어할 때 가장 유용합니다. 이러한 발견은 차세대 코딩 에이전트를 위한 실용적인 텍스트 및 시각 하이브리드 설계를 시사합니다.