Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RepoReasoner는 기존의 함수 단위 평가를 넘어, 실제 개발 환경과 유사한 저장소 수준의 코드 추론 능력을 평가하는 새로운 벤치마크를 제안합니다. 파일 간 의존성과 아키텍처 이해도를 측정하며, 최신 LLM들이 복잡한 멀티홉 추론에서 여전히 한계를 보임을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기최근 대규모 언어 모델 (LLMs)은 소프트웨어 엔지니어링 작업에서 강력한 성능을 보여주었으나, 대부분의 기존 벤치마크는 모든 관련 정보가 국소화되어 있는 함수 수준 (function level)에서 코드 추론을 평가합니다. 이러한 설정은 여러 파일과 복잡한 의존성 구조를 가로지르는 추론이 필요한 실제 개발 환경을 반영하지 못합니다. 우리는 저장소 수준 (repository-level)의 코드 추론을 평가하기 위한 벤치마크인 RepoReasoner를 소개합니다. 이는 두 가지 상호 보완적인 능력을 평가합니다: 파일 간의 세밀하고 상태 기반인 실행 추론을 측정하는 출력 예측 (Output Prediction), 그리고 노이즈가 있는 컨텍스트 하에서 고수준의 아키텍처 의존성 이해를 평가하는 호출 체인 예측 (Call Chain Prediction)입니다. 우리의 벤치마크는 ground-truth 호출 체인을 얻기 위해 pytest 실행의 동적 트레이싱 (dynamic tracing)을 활용하고, 암기 효과 (memorization effects)를 줄이기 위해 LLM 기반의 I/O 재작성 (I/O rewriting)을 사용하는 다단계 파이프라인을 통해 구축되었습니다. 우리는 7개의 최첨단 LLMs를 평가했습니다. oracle 컨텍스트 하에서도 가장 성능이 좋은 모델은 출력 예측에서 단 69.1%의 Pass@1을 달성하였으며, 이는 파일 간 추론이 여전히 주요 과제로 남아 있음을 나타냅니다. 호출 체인 예측에서 모델들은 높은 정밀도 (precision)를 보이지만 낮은 재현율 (recall)을 나타내며, 이는 제한적인 멀티홉 (multi-hop) 의존성 이해를 시사합니다. 또한, 재작성된 데이터에서의 성능 저하는 암기에 부분적으로 의존하고 있음을 드러내며, 더 긴 컨텍스트가 노이즈로 인해 결과의 일관된 개선을 가져오지는 않습니다. 이러한 발견은 현재 LLMs의 저장소 수준 추론에 있어 근본적인 한계를 강조하며, 구조화된 아키텍처 이해 및 파일 간 추론에 관한 향후 연구를 촉구합니다.