다층적 어노테이터 모델링 (Multi-Level Annotator Modeling)을 통한 평가의 재현성 향상

대규모 언어 모델 (LLMs)과 같은 생성형 AI 모델이 더욱 보편화됨에 따라, 이러한 시스템의 안전성, 강건성 (robustness), 그리고 전반적인 신뢰성을 보장하는 것이 무엇보다 중요해졌습니다. 그러나 현재 AI는 신뢰할 수 없는 평가와 반복 불가능한 실험 결과로 인해 재현성 위기 (reproducibility crisis)에 직면해 있습니다. 모델의 유용성과 안전성을 평가하기 위해 인간 평가자 (human raters)가 자주 사용되지만, 이들은 어노테이션 (annotations) 과정에서 서로 다른 편향 (biases)과 주관적인 의견을 도입합니다. 어노테이터 풀 (annotator pool)이 커짐에 따라 실험의 반복 가능성이 실제로 어떻게 개선되는지를 연구하기 위한 데이터가 거의 존재하지 않기 때문에, 이러한 변동성을 극복하는 것은 매우 어렵습니다. 표준적인 평가 관행은 일반적으로 항목당 적은 수의 어노테이션 (보통 3~5개)에 의존하며, 항목 전반에 걸쳐 개별 변동성을 모델링하는 데 필요한 지속적인 평가자 식별자 (persistent rater identifiers)가 부족합니다. 본 연구에서는 어노테이터의 행동을 현실적으로 모델링하기 위한 다층적 부트스트래핑 (multi-level bootstrapping) 접근 방식을 소개합니다. 대량의 레이팅 (ratings)과 지속적인 평가자 식별자를 포함하는 데이터셋을 활용하여, 통계적 유의성 (statistical significance)을 달성하는 데 필요한 항목의 수 ($N$)와 항목당 응답 수 ($K$) 사이의 트레이드오프 (tradeoffs)를 분석합니다.