가치 풍부성 및 다른 조직화: AI 생성 토론에서 가치 표현과 조직 측정

요약

본 논문은 LLM이 생성한 토론 평가가 단순히 논증적 품질에만 초점을 맞추는 한계를 지적하며, 가치 표현(value expression)과 가치 조직화(value organization)를 분리하여 분석하는 진단 지표 프레임워크를 제안합니다. 이 프레임워크는 Schwartz의 Basic-10 가치 이론을 기반으로 토론에 나타나는 다단계 가치 분포를 측정하며, AI가 인간 참조보다 더 풍부하게 가치를 표현하지만 조직화 방식이 다르다는 것을 발견했습니다.

핵심 포인트

• 토론 평가는 논증적 품질 외에 '가치 구조' 분석이 필요합니다.
• '가치 표현'과 '가치 조직화'를 분리하여 측정하는 프레임워크를 제시했습니다.
• AI는 인간보다 가치를 풍부하게 표현하지만, 그 조직 방식은 다릅니다.
• 토론 평가 시 가치의 존재뿐 아니라 조직화까지 고려해야 합니다.