최근 대규모 언어 모델 (LLMs)은 소프트웨어 엔지니어링 작업에서 강력한 성능을 보여주었으나, 대부분의 기존 벤치마크는 모든 관련 정보가 국소화되어 있는 함수 수준 (function level)에서 코드 추론을 평가합니다. 이러한 설정은 여러 파일과 복잡한 의존성 구조를 가로지르는 추론이 필요한 실제 개발 환경을 반영하지 못합니다. 우리는 저장소 수준 (repository-level)의 코드 추론을 평가하기 위한 벤치마크인 RepoReasoner를 소개합니다. 이는 두 가지 상호 보완적인 능력을 평가합니다: 파일 간의 세밀하고 상태 기반인 실행 추론을 측정하는 출력 예측 (Output Prediction), 그리고 노이즈가 있는 컨텍스트 하에서 고수준의 아키텍처 의존성 이해를 평가하는 호출 체인 예측 (Call Chain Prediction)입니다. 우리의 벤치마크는 ground-truth 호출 체인을 얻기 위해 pytest 실행의 동적 트레이싱 (dynamic tracing)을 활용하고, 암기 효과 (memorization effects)를 줄이기 위해 LLM 기반의 I/O 재작성 (I/O rewriting)을 사용하는 다단계 파이프라인을 통해 구축되었습니다. 우리는 7개의 최첨단 LLMs를 평가했습니다. oracle 컨텍스트 하에서도 가장 성능이 좋은 모델은 출력 예측에서 단 69.1%의 Pass@1을 달성하였으며, 이는 파일 간 추론이 여전히 주요 과제로 남아 있음을 나타냅니다. 호출 체인 예측에서 모델들은 높은 정밀도 (precision)를 보이지만 낮은 재현율 (recall)을 나타내며, 이는 제한적인 멀티홉 (multi-hop) 의존성 이해를 시사합니다. 또한, 재작성된 데이터에서의 성능 저하는 암기에 부분적으로 의존하고 있음을 드러내며, 더 긴 컨텍스트가 노이즈로 인해 결과의 일관된 개선을 가져오지는 않습니다. 이러한 발견은 현재 LLMs의 저장소 수준 추론에 있어 근본적인 한계를 강조하며, 구조화된 아키텍처 이해 및 파일 간 추론에 관한 향후 연구를 촉구합니다.