ClassEval-Pro: 클래스 레벨 코드 생성을 위한 크로스 도메인 벤치마크

요약

ClassEval-Pro는 명세로부터 완전하고 구조화된 클래스를 생성하는 '구성적 코드 생성' 능력을 평가하기 위해 개발된 새로운 크로스 도메인 벤치마크입니다. 이 벤치마크는 2025년 1월 이후의 실제 GitHub 코드를 활용하여 11개 도메인에 걸쳐 300개의 클래스 레벨 작업을 포함합니다. 연구 결과, 최첨단 LLM조차도 클래스 레벨 Pass@1에서 45.6%에 그쳤으며, 오류 분석을 통해 교차 메서드 조정(cross-method coordination)이 주요 성능 병목 현상임을 밝혀냈습니다.

핵심 포인트

• 구성적 코드 생성(Compositional Code Creation)은 함수/리포지토리 레벨 작업보다 평가가 소외되어 왔음.
• ClassEval-Pro는 11개 도메인, 300개의 클래스 레벨 작업을 포함하는 자동화된 크로스 도메인 벤치마크임.
• 최고 성능의 LLM도 클래스 레벨 Pass@1에서 45.6%에 머물러 있어 이 영역의 난이도가 높음을 입증함.
• 오류 분석 결과, 코드 생성 실패의 주요 원인은 논리 오류(56.2%)와 의존성 오류(38.0%)이며, 이는 교차 메서드 조정 능력 부족을 시사함.