어노테이터별 근거 모델링: 미세 관점 분석을 위한 새로운 프레임워크

💡 개요: 미세 관점(Fine-Grained Perspectives) 모델링

본 연구는 기존의 단순한 레이블 예측을 넘어, 어노테이터가 제공하는 '근거(rationales)'를 활용하여 개인별로 매우 세밀한 관점(fine-grained perspectives)을 포착하는 데 중점을 둡니다. 단순히 어떤 레이블이 나왔는지 아는 것만으로는 부족하며, 왜 그런 레이블이 나왔는지에 대한 개별적인 설명을 이해하는 것이 중요합니다.

🛠️ 제안 프레임워크의 핵심 요소

저희가 제안하는 프레임워크는 어노테이터 고유의 레이블 예측과 그에 상응하는 설명(explanation)을 공동으로 모델링하도록 설계되었습니다. 이 과정은 어노테이터가 직접 작성한 근거 정보에 맞게 미세 조정됩니다.

1. User Passport 메커니즘:

• 단순히 어노테이터의 존재 여부만 고려하는 것이 아니라, 어노테이터의 **신원(identity)**과 추가적인 **인구통계학적 메타데이터(demographic metadata)**를 표현 수준에서 예측에 조건으로 통합합니다. 이를 통해 각 개인이 가진 고유한 배경 지식이나 관점이 모델링에 반영됩니다.

2. 두 가지 설명 생성기 아키텍처:

• Post-hoc Prompt-based Explainer: 이미 레이블이 결정된 후, 프롬프트 기반으로 설명을 생성하는 방식입니다. 직관적이며 구현하기 용이합니다. (사후 처리 방식)
• Prefixed Bridge Explainer: 어노테이터의 조건부 분류기 표현(annotator-conditioned classifier representations)을 직접 가져와 생성 모델(generative model)에 전이(transfer)시키는 방식입니다. 이 접근법은 설명과 레이블 간의 정렬(alignment)을 더욱 안정적으로 유지하고, 높은 의미적 일관성(semantic consistency)을 달성하는 데 강점을 보였습니다.

📊 주요 연구 결과 및 의의

실험 결과는 근거 모델링이 예측 성능 향상에 결정적인 역할을 함을 입증했습니다. 단순히 어노테이터를 인지한 분류기(annotator-aware classifier)와 비교했을 때, 설명 모델링을 통합한 시스템은 월등히 높은 성능을 보였습니다.

• Prefixed Bridge Explainer의 우위: 이 방식은 가장 안정적인 레이블 정렬과 높은 의미적 일관성을 제공하여, 개별 어노테이터 관점의 미묘한 차이를 포착하는 데 유리합니다. 이는 '어견 불일치(disagreement)'를 더욱 풍부하고 충실하게 표현할 수 있게 합니다.
• Post-hoc 방식: 이 방식은 높은 어휘적 유사성(lexical similarity)을 보여주었습니다.

결론적으로, 본 연구는 어노테이터별 근거 정보를 예측 과정과 생성 과정 모두에 통합함으로써, 관점주의 모델링(perspectivist modeling)의 수준을 한 단계 끌어올렸습니다. 이는 복잡한 데이터셋에서 개인이 가진 주관적 해석이나 배경 지식으로 인한 차이를 정량적으로 분석할 수 있게 함을 의미합니다.