가치 벤치마크를 넘어: 대칭적 Q-Sort를 통한 대규모 언어 모델(LLM)의 가치-구조 정렬 측정

대규모 언어 모델 (LLMs)은 복잡한 도덕적 추론과 가치 상충 (value trade-offs)이 요구되는 맥락에 점점 더 많이 배치되고 있습니다. 그러나 기존의 평가 방식은 일반적으로 항목 수준의 행동 지표 (item-level behavioral metrics)에 의존하며, 이는 모델이 응집력 있는 시스템으로서 경쟁하는 가치들을 어떻게 구조적으로 우선순위화하는지를 포착하지 못합니다. 이를 해결하기 위해, 우리는 가치-구조 정렬 (value-structure alignment)을 측정하기 위해 Q 방법론 (Q methodology)에 기반한 대칭적 인간-LLM 평가 프레임워크를 제안합니다. 우리의 프로토콜에 따라, 인간과 모델은 동일한 140개 항목의 도덕적 진술 세트를 공유된 9개 열의 강제 분포 (forced distribution)로 분류합니다. LLM의 경우, 엄격한 순위를 유도하고 이를 결정론적으로 Q-sort 버킷 (Q-sort buckets)에 매핑합니다. 인간 참조 샘플 ($N=35$)을 사용하여, 우리는 이 도구와 샘플에 특화된 안정적인 3요인 참조 기하학 (three-factor reference geometry)을 구축합니다. 우리는 두 가지 온도 (temperature) 설정에서 240회의 반복된 Q-sort를 통해 4개의 모델 제품군에 걸친 12개의 LLM을 평가하며, 프로크루스테스 유사도 (Procrustes similarity, $φ$) 및 RSA 기반 스피어만 상관계수 (Spearman correlation, $ρ$)를 통해 구조적 정렬을 정량화합니다. 우리의 결과는 모델 제품군 간의 상당한 이질성, 생성의 확률성 (generation stochasticity)에 대한 모델별 민감도 및 국지적 불일치 (localized misalignment)를 드러내며, 이는 유리한 글로벌 점수가 잠재적인 지역적 왜곡을 가릴 수 있음을 보여줍니다. 순위 및 버킷 기반 분석은 높은 일관성을 유지하지만, 프롬프트 문구 (prompt phrasing)는 주목할 만한 분산을 유발합니다. 궁극적으로, 가치-구조 정렬을 평가하는 것은 전통적인 항목별 도덕적 벤치마크에 대한 중요한 구조적 보완책을 제공합니다.