인식론적 입장 유연성 탐지: 대규모 언어 모델의 프롬프트 조건부 레지스터 변화 측정
요약
본 연구는 대규모 언어 모델(LLM)의 '인식론적 입장 유연성'을 측정하는 새로운 벤치마크 ESFP를 제안했습니다. 이 벤치마크는 외부 귀속과 자기 귀속 프롬프트 간의 차이를 분석하여, 모델이 주장에 대한 믿음이나 전문가의 믿음을 구분하고 일관되게 응답하는 능력을 평가합니다. 연구 결과, 인식론적 유연성은 일반적인 모델 능력과는 독립적으로 작동함을 확인했습니다.
핵심 포인트
- ESFP 벤치마크는 외부/자기 귀속 프롬프트 간의 차이를 측정합니다.
- 인식론적 유연성은 기존 정확도나 안전성 벤치마크로 평가되지 않습니다.
- 입장 내용 밀도가 가장 강력한 신호를 제공하며, 표면적인 어휘 마커에 의존해서는 안 됩니다.
- 유연성은 모델의 일반 능력과 직교하는 독립적인 특성입니다.
언어 모델에게 논쟁적인 주장에 대해 전문가들이 무엇을 믿는지, 또는 그 주장 자체에 대해 모델이 무엇을 믿는지를 물어볼 수 있습니다. 신뢰할 수 있는 대화형 에이전트는 이 두 가지 요청을 구별하고 서로 다른 인식론적 레지스터로 응답해야 합니다: 전자의 경우 중립적인 귀속(neutral attribution)을, 후자의 경우 입장 표현(stance expression)을 사용해야 합니다. 이러한 변화가 발생하는지—그리고 그것이 일관성 있게 발생하는지—는 기존의 정확도, 명령어 준수 또는 안전성 벤치마크로는 직접적으로 평가되지 않습니다. 우리는 ESFP라는 행동 기반 벤치마크를 도입했으며, 이는 외부 귀속(externally attributed) 프롬프트와 자기 귀속(self-attributed) 프롬프트 간의 대조를 측정의 기본 단위로 다룹니다. ESFP는 6가지 인식론적 범주와 5가지 구문 템플릿에 걸쳐 신중하게 통제된 104개의 항목으로 구성되어 있으며, 모델 응답을 네 가지 상호 보완적인 차원—어휘적 자기 귀속(lexical self-attribution), 역할 틀 지정에 대한 표현 수준 반응성(representation-level responsiveness to role framing), LLM 심사 패널이 평가하는 문장 수준 입장 내용 밀도(sentence-level stance content density), 그리고 교차 조건부 입장 일관성(cross-condition stance consistency)—을 따라 평가합니다. 5개 공급업체의 8개 최첨단 모델을 평가한 결과, 인식론적 유연성은 일반적인 모델 능력과는 대체로 직교함(orthogonal)을 발견했습니다: 27B 오픈 가중치 모델은 가장 강력한 독점 시스템과 일치하며, 한 계열의 플래그십 모델은 경량화된 동급 모델보다 성능이 떨어지고, 추론 최적화 모델들은 일관되게 더 높은 유연성을 보이지 않았습니다. 입장 내용 밀도가 가장 강력한 신호를 제공하는 반면, 'I think'와 같은 표면적인 어휘 마커는 표현되는 입장의 변화에 상응하는 변화 없이도 상당히 바뀔 수 있습니다. 우리는 항목별 부트스트랩 신뢰 구간(bootstrap confidence intervals), 가중치 민감도 분석(weight-sensitivity analyses) 및 복합 점수의 해석 한계에 대한 명시적인 논의를 제공합니다. ESFP는 일반적인 역량 측정이라기보다는, 변화하는 귀속 조건 하에서 모델이 자신의 인식론적 입장을 조정하려는 경향성(propensity)을 측정합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기