Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
소셜 미디어 텍스트에서 인간의 가치 표현을 측정하기 위해 LLM 주석과 인코더 모델 전이 기법을 연구합니다. 이론적 정의를 통해 LLM의 가치 귀속 오류를 줄이고, 프롬프트 보정과 소프트 라벨 학습을 통해 전문가 수준의 정렬을 달성하는 방법을 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기자연적으로 발생하는 소셜 미디어 텍스트에서 주관적 구성 개념(subjective constructs)을 측정하려면 이론적 근거가 있고, 경험적으로 검증되었으며, 확장 가능한 예측을 위해 인코더 모델(encoder model)로 전이 가능한 주석(annotation) 절차가 필요합니다. Schwartz의 기본 인간 가치 이론(theory of basic human values)에 따라 주석을 달은 비영어권 소셜 미디어 게시물을 사용하여, 우리는 서로 다른 LLM(Large Language Models), 프롬프트(prompts), 그리고 지시 언어(instruction languages)가 텍스트 내 가치 표현을 어떻게 구체화(operationalize)하는지 조사합니다. 우리는 텍스트가 여러 가지 그럴듯한 해석을 허용할 수 있지만, 이론에 기반한 가치 정의가 해석을 제한하고 가짜 가치 귀속(spurious value attributions)을 줄일 수 있다고 주장합니다. 정밀도(precision), 재현율(recall), F1 점수 외에도, 우리는 가치 간의 구조적 정렬(structural alignment), 오류 구조(error structure), 신뢰도-모호성 관계(confidence-ambiguity relations), 그리고 주석 안정성(annotation stability)을 평가합니다. 우리는 서로 다른 LLM이 서로 다른 가치 해석을 생성한다는 것을 보여줍니다. 오류 분석을 통한 반복적인 프롬프트 보정(prompt calibration)은 오귀속(misattributions)을 줄이고 전문가 주석(expert annotations)과의 정렬을 개선합니다. 또한 우리는 반복되는 오류 구조로부터 타겟팅된 전문가 검증 규칙을 도출하고 이를 코퍼스(corpus) 주석 과정에서 사용합니다. 마지막으로, 우리는 LLM 주석이 소프트 라벨 학습(soft-label training)을 통해 인코더 모델로 전이될 수 있으며, 이를 통해 이론에 기반한 가치 해석과 가치 표현의 불확실성에 대한 정보를 유지할 수 있음을 보여줍니다.