우리는 진정한 코드 이해(Code Comprehension)를 문서 회상(Documentation Recall) 및 사전 학습 암기(Pretraining Memorization)로부터 분리하여, 저장소 수준(Repository-level)의 코드 이해 벤치마크를 합성하기 위한 완전 자동화된 프레임워크인 Code-QA-Bench를 제시합니다. 이 프레임워크는 두 가지 방법론적 기여를 합니다: (1) 도구를 갖춘 에이전트가 소스 코드를 탐색하여 질문을 도출하기 전에 검증된 정답(Gold Answers)을 생성함으로써, 모든 태스크가 실제 코드 구조에 기반하도록 보장하는 '정답 우선 생성 파이프라인(Answer-first generation pipeline)', 그리고 (2) 에이전트를 폐쇄형(Closed-book, 저장소 없음), 코드 전용(Code-only, 문서 제거), 문서 포함(Documented, 전체 저장소) 조건 하에서 평가하여 문서의 유용성과 암기량을 직접적으로 정량화하는 '3가지 조건 실험 설계(Three-condition experimental design)'입니다. 우리는 SWE-Bench의 10개 Python 저장소에 걸쳐 528개의 코드 유도형(Code-derivable) 태스크와 100개의 문서 의존형(Doc-dependent) 태스크를 생성하였으며, LLM 판사(LLM judge)를 통해 정확성(Accuracy), 완전성(Completeness), 구체성(Specificity)을 점수화했습니다. 4개의 프런티어 모델(Frontier models)을 대상으로 한 실험 결과, 코드 접근성이 지배적인 요인이며(폐쇄형 대비 평균 +0.23 이득), 문서는 완만한 추가 이점(+0.071, 문서 의존형 태스크 기준)을 제공하며, 코드 유도형 태스크에서는 코드 전용 조건과 문서 포함 조건이 거의 유사($\approx$)하게 나타나 설계의 타당성을 입증했습니다. 이 프레임워크는 오픈 소스이며 문서화가 잘 된 모든 Python 저장소에 적용 가능합니다.