다층적 어노테이터 모델링 (Multi-Level Annotator Modeling)을 통한 평가의 재현성 향상

요약

본 연구는 LLM 등 생성형 AI 모델의 신뢰성 확보에 필수적인 평가 과정에서 발생하는 재현성 위기를 다룹니다. 기존 방식은 인간 평가자의 주관적 편향과 변동성을 충분히 고려하지 못하며, 이는 실험 결과의 반복 가능성을 저해합니다. 이에 본 연구는 어노테이터의 행동을 현실적으로 모델링하기 위해 다층적 부트스트래핑(multi-level bootstrapping) 접근 방식을 제안하고, 데이터셋을 활용하여 통계적 유의성 확보에 필요한 항목 수($N$)와 항목당 응답 수($K$) 간의 트레이드오프를 분석합니다.

핵심 포인트

• 생성형 AI 모델의 신뢰성 및 안전성 확보가 중요해지면서 평가 과정에서 재현성 위기가 발생하고 있습니다.
• 인간 평가자(human raters)는 어노테이션 과정에서 편향과 주관성을 도입하여 실험 결과의 변동성을 높입니다.
• 기존 평가는 개별 변동성을 모델링할 지속적인 평가자 식별자가 부족하며, 이는 반복 가능성 분석을 어렵게 합니다.
• 본 연구는 다층적 부트스트래핑(multi-level bootstrapping) 접근 방식을 통해 어노테이터의 행동을 현실적으로 모델링하는 방법을 제시합니다.
• 제안된 방법론은 대량의 레이팅 데이터를 활용하여 통계적 유의성 달성에 필요한 항목 수($N$)와 항목당 응답 수($K$) 간의 트레이드오프를 분석합니다.