QQJ: 생성형 AI의 확장 가능하고 인간 정렬된 평가를 위한 질적 판단의 정량화

요약

기존의 자동 지표와 LLM 기반 평가가 가진 한계를 극복하기 위해, 인간의 질적 판단을 정량화하는 새로운 프레임워크인 QQJ를 제안합니다. QQJ는 전문가가 설계한 다차원 루브릭을 기반으로 소수의 고품질 주석을 사용하여 LLM 평가자를 보정함으로써, 인간의 추론 방식과 일치하는 확장 가능한 평가를 가능하게 합니다.

핵심 포인트

• 전통적인 자동 지표의 통계적 유사성 한계와 인간 평가의 높은 비용/주관성 문제 해결
• 전문가 루브릭과 소수 고품질 주석을 결합하여 품질 정의와 실행을 분리하는 구조
• 텍스트 및 이미지 생성 작업에서 인간의 판단과 강력한 정렬(Alignment) 달성
• 환각(Hallucination) 및 의도 불일치(Intent mismatch) 식별 등 우수한 진단 능력 입증
• 해석 가능성과 확장성을 동시에 확보한 생성형 AI 평가의 새로운 토대 마련