Code-QA-Bench: 저장소 수준의 QA에서 코드 추론과 문서 암기를 분리하기

요약

코드 이해 능력을 문서 암기 및 사전 학습된 지식과 분리하여 평가하는 자동화된 벤치마크 프레임워크인 Code-QA-Bench를 제안합니다. 이 프레임워크는 정답 우선 생성 파이프라인과 세 가지 실험 조건을 통해 저장소 수준의 코드 추론 능력을 정밀하게 측정합니다.

핵심 포인트

• 코드 이해와 문서 회상을 분리하는 자동화 프레임워크 제시
• 정답 우선 생성 파이프라인을 통한 실제 코드 기반 태스크 보장
• 폐쇄형, 코드 전용, 문서 포함의 3가지 조건 실험 설계
• 코드 접근성이 모델 성능의 지배적인 요인임을 입증