실제 저장소(repository)의 이슈에는 스크린샷, 오류 대화 상자, 렌더링된 UI 상태, 로그와 같은 시각적 증거가 포함되지만, 저장소 수준의 이슈 위치 파악(localization)은 주로 텍스트 전용 작업으로 평가됩니다. 기존의 멀티모달 SE (Software Engineering) 벤치마크는 종단 간(end-to-end) 복구(repair)를 평가하며, 위치 파악을 패치 합성(patch synthesis)과 얽어 놓아 시각적 입력이 도움이 되었는지, 해가 되었는지, 아니면 무시되었는지 여부를 가리는 것을 어렵게 만듭니다. 본 논문에서는 시각적 증거를 활용한 저장소 수준의 위치 파악을 위한 통제된 벤치마크이자 평가 프로토콜인 MM-IssueLoc을 소개합니다. MM-IssueLoc은 23개 언어에 걸쳐 652개의 이슈-PR 인스턴스를 포함하며, 7가지 이미지 카테고리와 4가지 관련성 수준에 대한 주석(annotations)이 제공됩니다. 이 벤치마크는 파일 수준 및 함수 수준의 골드 레이블을 제공하고, 텍스트 전용 평가와 이미지 포함 평가를 페어링하여 제공하며, 이미지를 구조화된 텍스트 증거로 변환하는 VCE(Visual Contextual Evidence) 기반 진단 기능을 제공합니다. 우리는 MM-IssueLoc-VL-Emb와 같은 통제된 멀티모달 리트리버를 포함하여 LLM 기반 및 검색 기반 시스템을 평가했습니다. 그 결과, 기존 시스템들은 신뢰할 수 있는 멀티모달 저장소 위치 파악과는 거리가 먼 것으로 나타났습니다: 가장 강력한 에이전트는 38.96의 파일 Acc@5와 22.45의 함수 Acc@10에 도달했으며, 가장 강력한 리트리버는 33.86의 함수 Acc@10에 도달했습니다. 크로스-벤치마크 비교를 통해 텍스트 중심 SWE 벤치마크에서 높은 위치 파악 점수가 멀티모달 이슈 위치 파악으로 깔끔하게 전이되지 않음을 보여줍니다. MM-IssueLoc은 시각적 증거를 명시적인 평가 변수로 전환하여, 향후 연구가 시스템이 텍스트 전용 단서나 다운스트림 패치 생성 효과에 의존하는 것이 아니라 시각적 증거를 사용하여 위치 파악을 개선할 수 있는지 테스트할 수 있도록 합니다.