VisualRepair: 시각적 소프트웨어 문제 수리를 위한 동적 도구 호출 및 영역 집중
요약
VisualRepair는 LLM 기반의 자동화 프로그램 복구(APR)에서 발생하는 시각적 정보 활용 문제를 해결하기 위해 제안된 MLLM 프레임워크입니다. 이 프레임워크는 이미지 타입 인식 도구 호출(ITTC)과 동적 테스트 시간 영역 집중(DTRF)이라는 두 가지 핵심 모듈을 포함합니다. 실험 결과, VisualRepair가 기존 최고 기준선보다 우수한 성능을 보여 자동화된 시각적 소프트웨어 문제 수리에 효과적임을 입증했습니다.
핵심 포인트
- 시각 정보 활용은 현대 소프트웨어 버그 이해에 필수적입니다.
- VisualRepair는 ITTC와 DTRF를 통해 시각적 해석과 영역 집중을 개선합니다.
- SWE-bench Multimodal 벤치마크에서 기존 최고 기준선보다 높은 성능을 달성했습니다.
자동화 프로그램 복구(APR)는 대규모 언어 모델(LLMs)의 등장과 함께 상당한 발전을 이루었습니다. 그러나 현대 소프트웨어 시스템이 풍부한 그래픽 사용자 인터페이스를 점점 더 많이 노출함에 따라, 버그 스크린샷에서 시각적 정보를 효과적으로 활용하는 것이 멀티모달 시나리오에서 버그를 이해하고 정확한 수정 사항을 생성하는 데 필수적이 되었습니다. 실제 문제 보고서는 UI 스크린샷, IDE 스냅샷, GIF 및 텍스트 중심 이미지 등 이질적인 시각적 첨부 파일을 자주 포함하며, 각각은 고유한 시각적 패턴과 도메인별 의미론을 가지고 있어 MLLMs에 상당한 지각적 요구를 부과합니다. 더욱이, 버그 스크린샷에는 종종 정보성이 없고 버그와 무관한 영역이 넓게 포함되어 모델의 주의를 산만하게 하고 패치 다양성을 제한하는 경향이 있습니다. 이러한 문제들을 해결하기 위해, 우리는 시각적 소프트웨어 문제 수리를 위한 MLLM 기반 프레임워크인 VisualRepair를 제안합니다. 이 프레임워크는 두 가지 핵심 모듈로 구성됩니다: 입력 이미지를 분류하고 강력한 시각적 해석을 위해 맞춤형 도구 호출 체인을 동적으로 호출하는 이미지 타입 인식 도구 호출(Image Type-aware Tool Calling, ITTC)과, 여러 버그 관련 영역 후보를 근거화하고 결함 위치 파악을 개선하며 다양한 패치 생성을 촉진하기 위해 적응형 줌인 및 줌아웃 전략을 통해 이를 정제하는 동적 테스트 시간 영역 집중(Dynamic Test-time Region Focusing, DTRF)입니다. SWE-bench Multimodal 벤치마크에서 수행된 광범위한 실험은 VisualRepair가 최첨단 접근 방식보다 일관되게 우수함을 입증합니다. VisualRepair는 테스트 세트와 개발 세트에서 각각 196개 및 25개의 인스턴스를 해결하여, 기존 최고 기준선보다 각각 10개 및 11개를 능가했습니다. 이러한 결과들은 자동화된 시각적 소프트웨어 문제 수리를 위한 타입 인식 시각 이해와 영역 집중 위치 파악의 효과를 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기