CodeAssay: LLM 코드 생성을 위한 검증된 정답(Ground Truth)을 포함한 다중 지표 벤치마크

요약

LLM의 코드 생성 능력을 다각도로 평가하기 위한 새로운 벤치마크인 CodeAssay를 제안합니다. 검증된 정답과 다중 지표를 활용하여 기존 테스트 기반 평가의 한계를 보완하고 모델 간 성능 격차를 더욱 명확히 드러냅니다.

핵심 포인트

• 185개의 Python 작업을 포함한 분류 체계 우선 벤치마크 제시
• 검증된 정답(audited ground truth)과 변이 기반 테스트 활용
• 재채점 결과 모델 간 성능 격차가 기존 대비 크게 증가함 확인
• 단일 지표가 아닌 다중 코드 속성 측정치의 필요성 강조