MM-IssueLoc: 멀티모달 저장소 수준 이슈 검증을 위한 통제된 벤치마크

원문 발행 2026. 07. 17. 02:02원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

본 논문은 저장소 수준의 이슈 위치 파악(localization)에 있어 시각적 증거 활용을 위한 통제된 벤치마크인 MM-IssueLoc을 제안합니다. 이 벤치마크는 23개 언어, 652개의 이슈-PR 인스턴스를 포함하며, 파일 및 함수 수준의 골드 레이블과 시각적 증거를 결합하여 평가합니다. 연구 결과, 기존 시스템들은 멀티모달 위치 파악에서 어려움을 보였으며, 시각적 증거가 중요한 평가 변수임을 입증했습니다.

핵심 포인트

MM-IssueLoc은 시각적 증거 기반의 저장소 이슈 위치 파악 벤치마크입니다.
파일 및 함수 수준의 골드 레이블을 제공하여 정밀한 평가가 가능합니다.
시각적 입력이 단순히 도움이 되는 것이 아니라 필수적인 평가 변수임을 강조합니다.
기존 시스템들은 멀티모달 환경에서 신뢰할 수 있는 위치 파악 능력이 부족함을 보여줍니다.

실제 저장소(repository)의 이슈에는 스크린샷, 오류 대화 상자, 렌더링된 UI 상태, 로그와 같은 시각적 증거가 포함되지만, 저장소 수준의 이슈 위치 파악(localization)은 주로 텍스트 전용 작업으로 평가됩니다. 기존의 멀티모달 SE (Software Engineering) 벤치마크는 종단 간(end-to-end) 복구(repair)를 평가하며, 위치 파악을 패치 합성(patch synthesis)과 얽어 놓아 시각적 입력이 도움이 되었는지, 해가 되었는지, 아니면 무시되었는지 여부를 가리는 것을 어렵게 만듭니다. 본 논문에서는 시각적 증거를 활용한 저장소 수준의 위치 파악을 위한 통제된 벤치마크이자 평가 프로토콜인 MM-IssueLoc을 소개합니다. MM-IssueLoc은 23개 언어에 걸쳐 652개의 이슈-PR 인스턴스를 포함하며, 7가지 이미지 카테고리와 4가지 관련성 수준에 대한 주석(annotations)이 제공됩니다. 이 벤치마크는 파일 수준 및 함수 수준의 골드 레이블을 제공하고, 텍스트 전용 평가와 이미지 포함 평가를 페어링하여 제공하며, 이미지를 구조화된 텍스트 증거로 변환하는 VCE(Visual Contextual Evidence) 기반 진단 기능을 제공합니다. 우리는 MM-IssueLoc-VL-Emb와 같은 통제된 멀티모달 리트리버를 포함하여 LLM 기반 및 검색 기반 시스템을 평가했습니다. 그 결과, 기존 시스템들은 신뢰할 수 있는 멀티모달 저장소 위치 파악과는 거리가 먼 것으로 나타났습니다: 가장 강력한 에이전트는 38.96의 파일 Acc@5와 22.45의 함수 Acc@10에 도달했으며, 가장 강력한 리트리버는 33.86의 함수 Acc@10에 도달했습니다. 크로스-벤치마크 비교를 통해 텍스트 중심 SWE 벤치마크에서 높은 위치 파악 점수가 멀티모달 이슈 위치 파악으로 깔끔하게 전이되지 않음을 보여줍니다. MM-IssueLoc은 시각적 증거를 명시적인 평가 변수로 전환하여, 향후 연구가 시스템이 텍스트 전용 단서나 다운스트림 패치 생성 효과에 의존하는 것이 아니라 시각적 증거를 사용하여 위치 파악을 개선할 수 있는지 테스트할 수 있도록 합니다.

AI 자동 생성 콘텐츠

원문 바로가기

MM-IssueLoc: 멀티모달 저장소 수준 이슈 검증을 위한 통제된 벤치마크

요약

핵심 포인트

댓글