CriterAlign: 코드 선호도 판정을 위한 기준 중심의 근거 정렬 (Criterion-Centric Rationale Alignment)

요약

CriterAlign은 코드 생성 모델의 품질을 평가할 때 기존의 점수 기반 방식 대신 기준(criterion) 중심의 쌍체 판정을 사용하는 새로운 프레임워크입니다. 인간의 선호도와 모델 예측 사이의 격차를 줄이기 위해 HPAG(Human-Preference-Aligned Guidance)를 도입하여 판정의 정확도를 높였습니다. 실험 결과, BigCodeReward 데이터셋에서 단일 판정관의 성능을 60.4%에서 66.3%로 크게 향상시켰습니다.

핵심 포인트

• 기존의 점수 기반(pointwise) 루브릭 평가 방식이 쌍체 코드 선호도 예측에 부적합함을 지적
• 기준 수준의 쌍체 판정, 타이 유도 기준 정제, 스왑 일관성 필터링을 포함하는 CriterAlign 프레임워크 제안
• 인간의 선호도와 모델 간의 근거 격차를 보완하는 HPAG(Human-Preference-Aligned Guidance) 도입
• Qwen2.5-VL-32B 모델을 활용한 실험에서 단일 판정관 대비 성능 향상 입증