생성형 인공지능 (Generative AI)의 급격한 발전은 기존의 평가 방법론, 특히 개방형, 창의적, 그리고 인간 지향적인 작업에서의 근본적인 한계를 드러냈습니다. 전통적인 자동 지표 (Automatic metrics)는 표면적인 통계적 유사성에 의존하며 인간의 품질 인식을 반영하지 못하는 경우가 많으며, 순수하게 인간이 수행하는 평가는 신뢰할 수 있음에도 불구하고 비용이 많이 들고 주관적이며 확장하기 어렵습니다. 평가자로서 대규모 언어 모델 (Large Language Models, LLM)을 사용하는 최근의 접근 방식은 확장성은 개선되었으나, 인간이 정의한 평가 원칙에 대한 명시적인 근거가 부족하여 편향과 불일치를 초래하는 경우가 빈번합니다.

본 논문에서 우리는 인간의 판단과 자동화된 평가 사이의 간극을 명시적으로 메우는 확장 가능하고 인간 중심적인 평가 프레임워크인 QQJ (Quantifying Qualitative Judgment)를 소개합니다. QQJ는 전문가가 설계한 다차원 루브릭 (Multi-dimensional rubrics)에 평가를 고정하고, 소수의 고품질 주석 (Annotation) 세트를 사용하여 대규모 언어 모델 평가자가 전문가의 추론과 일치하도록 보정함으로써 품질의 정의와 실행을 분리합니다. 이러한 설계는 다양한 생성 작업과 모달리티 (Modalities)에 걸쳐 일관되고 해석 가능하며 확장 가능한 평가를 가능하게 합니다.

텍스트 및 이미지 생성에 대한 광범한 실험을 통해 QQJ가 전통적인 자동 지표 및 제약 없는 LLM 기반 평가자보다 인간의 판단과 실질적으로 더 강력한 정렬 (Alignment)을 달성함을 입증했습니다. 또한, QQJ는 반복된 평가 전반에서 향상된 안정성을 보여주며, 환각 (Hallucination) 및 의도 불일치 (Intent mismatch)와 같은 중요한 실패 모드를 식별하는 데 있어 우수한 진단 능력을 나타냅니다. 이러한 결과는 구조화된 질적 판단이 해석 가능성이나 인간 정렬을 희생하지 않고도 대규모로 운영될 수 있음을 나타내며, QQJ를 현대 생성형 AI 시스템의 신뢰할 수 있는 평가를 위한 실질적인 토대로 자리매김하게 합니다.