소셜 미디어 텍스트에서의 인간 가치 표현 측정: 보정된 LLM 주석 및 인코더 전이

자연적으로 발생하는 소셜 미디어 텍스트에서 주관적 구성 개념(subjective constructs)을 측정하려면 이론적 근거가 있고, 경험적으로 검증되었으며, 확장 가능한 예측을 위해 인코더 모델(encoder model)로 전이 가능한 주석(annotation) 절차가 필요합니다. Schwartz의 기본 인간 가치 이론(theory of basic human values)에 따라 주석을 달은 비영어권 소셜 미디어 게시물을 사용하여, 우리는 서로 다른 LLM(Large Language Models), 프롬프트(prompts), 그리고 지시 언어(instruction languages)가 텍스트 내 가치 표현을 어떻게 구체화(operationalize)하는지 조사합니다. 우리는 텍스트가 여러 가지 그럴듯한 해석을 허용할 수 있지만, 이론에 기반한 가치 정의가 해석을 제한하고 가짜 가치 귀속(spurious value attributions)을 줄일 수 있다고 주장합니다. 정밀도(precision), 재현율(recall), F1 점수 외에도, 우리는 가치 간의 구조적 정렬(structural alignment), 오류 구조(error structure), 신뢰도-모호성 관계(confidence-ambiguity relations), 그리고 주석 안정성(annotation stability)을 평가합니다. 우리는 서로 다른 LLM이 서로 다른 가치 해석을 생성한다는 것을 보여줍니다. 오류 분석을 통한 반복적인 프롬프트 보정(prompt calibration)은 오귀속(misattributions)을 줄이고 전문가 주석(expert annotations)과의 정렬을 개선합니다. 또한 우리는 반복되는 오류 구조로부터 타겟팅된 전문가 검증 규칙을 도출하고 이를 코퍼스(corpus) 주석 과정에서 사용합니다. 마지막으로, 우리는 LLM 주석이 소프트 라벨 학습(soft-label training)을 통해 인코더 모델로 전이될 수 있으며, 이를 통해 이론에 기반한 가치 해석과 가치 표현의 불확실성에 대한 정보를 유지할 수 있음을 보여줍니다.