Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 저장소 규모 코드 이해도를 평가하기 위한 새로운 벤치마크인 RepoProbe를 제안합니다. 기존 벤치마크의 편집 편향 문제를 해결하기 위해 GitHub Discussions를 활용하며, 체크리스트 기반 검증 프로토콜을 통해 객관적인 평가를 수행합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)의 소프트웨어 공학 통합은 초점을 함수 수준의 생성에서 저장소 규모 (repository-scale)의 지원으로 전환시켰습니다. 그러나 기존의 벤치마크들은 주로 GitHub Issues의 버그 리포트에 의존하고 있으며, 이는 모델이 에러 로그의 패턴 매칭을 통해 진정한 이해를 우회할 수 있게 만드는 경우가 많습니다. 이러한 불일치는 편집 편향 (Edit Bias)을 과소 측정하게 만듭니다. 편집 편향이란 모델이 기존 저장소의 아키텍처를 이해하는 대신 성급하게 코드 수정을 제안하는 조기 생성 현상을 의미합니다. 또한, 현재의 LLM-as-a-Judge 스칼라 점수 산정 방식은 높은 분산과 낮은 해석 가능성이라는 문제를 겪고 있습니다. 본 연구에서는 결함 보고보다는 개방형 아키텍처 질의에 집중하는 GitHub Discussions를 활용하여, 개방형 질의응답 (Q&A)을 통해 저장소 수준의 코드 이해도를 평가하는 새로운 벤치마크인 RepoProbe를 소개합니다. 엄격한 평가를 보장하기 위해, 우리는 답변을 원자적이고 검증 가능한 사실로 분해하여 주관적인 등급 대신 객관적인 검증으로 대체하는 체크리스트 기반 검증 프로토콜 (Checklist-Based Verification Protocol)을 제안합니다. 최첨단 (SOTA) LLM들에 대한 평가 결과, 높은 명확성과 증거에 기반한 기술적 정확성 사이에 지속적인 격차가 있음이 드러났습니다. 또한, 모델이 아키텍처 분석 대신 코드 생성을 우선시하는 편집 편향의 만연함을 정량적으로 확인했습니다. 마지막으로, 우리의 검증 프로토콜이 스칼라 점수 산정을 사용하는 전통적인 평가 방식에 비해 평가 신뢰도를 크게 향상시킨다는 것을 입증합니다.