제3자 감사(Third-Person Audit)를 넘어: 사용자 중심 LLM 편향 연구를 위한 상황적 상호작용 감사(SIA)

요약

기존 LLM 편향 연구는 외부 주체로서 모델이 인구통계학적 그룹을 평가하는 '제3자 감사'에 머물러 있었습니다. 본 논문은 실제 사용 환경에서 발생하는 사용자 중심의 상호작용 맥락을 포착하기 위해 '상황적 상호작용 감사(SIA)' 프레임워크를 제안합니다. SIA는 사용자의 암묵적인 신호가 LLM 응답의 품질, 내용, 어조에 미치는 영향을 연구하는 새로운 접근 방식입니다.

핵심 포인트

• 기존 편향 감사는 사용자 부재라는 구조적 사각지대가 있었습니다.
• 편향은 타인 묘사보다 대화 상대방(interlocutor)을 대우하는 방식에서 나타납니다.
• SIA는 사용자의 암묵적 신호가 응답에 미치는 영향을 연구합니다.
• 성별 및 사회경제적 지위 신호를 교차 분석하여 SIA 프레임워크를 입증했습니다.