대규모 언어 모델(Large Language Models, LLM)은 테스트 기반 벤치마크를 사용하여 코드 생성 능력을 점점 더 많이 평가받고 있습니다. 이러한 평가의 타당성은 참조 데이터(references)와 테스트의 신뢰성에 달려 있으며, 테스트 기반의 정확성(correctness)은 생성된 코드의 관찰 가능한 속성 중 일부만을 포착합니다. 우리는 10개의 소프트웨어 공학 카테고리에 걸친 185개의 Python 작업으로 구성된 분류 체계 우선(taxonomy-first) 벤치마크인 CodeAssay를 제시합니다. 이는 검증된 정답(audited ground truth), 생성 및 수리(repair)를 위한 공개 테스트, 채점을 위한 숨겨진 테스트(hidden tests), 변이 기반 테스트 스위트 검증(mutation-based test-suite validation), 그리고 선택된 코드 속성 측정치(code-property measures)를 결합합니다. 감사(audit) 후 고정된 모델 출력에 대해 재채점(regrading)을 실시한 결과, 1,890개의 정확성 라벨 중 170개(9.0%)가 변경되었으며, 전체적인 정확성은 거의 변하지 않았음에도 불구하고 측정된 최상위 모델과 최하위 모델 간의 격차(spread)는 11.9%포인트에서 23.7%포인트로 증가했습니다. 완전한 형태의 숨겨진 테스트 스위트는 각각 82.6%와 74.8%의 변이 점수(mutation scores)를 달성했습니다. 7개의 독점적(proprietary) LLM에 대해, 표준 프롬프트(standard-prompt) 정확도는 77.3%에서 98.9% 사이였으며, 21개의 모델 쌍 중 12개 쌍에서 유의미한 차이를 보였습니다. 14개의 모델-프롬프트 구성 모두가 해결한 120개의 작업에서, 모든 선택된 코드 속성에 대해 가장 뛰어난 성능을 보인 모델은 없었습니다. 보안 중심 프롬프트(security-focused prompt)는 정확성에서 유의미한 변화를 일으키지 않았고 선택된 정적 분석 결과(static-analysis findings)를 일관되게 감소시키지도 못했으나, 모든 모델에서 프로그램 길이와 순환 복잡도(cyclomatic complexity)를 증가시켰습니다. 이러한 결과는 LLM이 생성한 코드의 신뢰할 수 있는 평가를 위해서는 검증된 정답(validated ground truth), 보호된 테스트, 그리고 명시적으로 해석된 다중 측정치가 필요함을 보여줍니다. CodeAssay는 AI 증강 소프트웨어 개발(AI-augmented software development)에서 증거 기반 모델 평가를 위한 재현 가능한 기초를 제공합니다.