인식론적 입장 유연성 탐지: 대규모 언어 모델의 프롬프트 조건부 레지스터 변화 측정

요약

본 연구는 대규모 언어 모델(LLM)의 '인식론적 입장 유연성'을 측정하는 새로운 벤치마크 ESFP를 제안했습니다. 이 벤치마크는 외부 귀속과 자기 귀속 프롬프트 간의 차이를 분석하여, 모델이 주장에 대한 믿음이나 전문가의 믿음을 구분하고 일관되게 응답하는 능력을 평가합니다. 연구 결과, 인식론적 유연성은 일반적인 모델 능력과는 독립적으로 작동함을 확인했습니다.

핵심 포인트

• ESFP 벤치마크는 외부/자기 귀속 프롬프트 간의 차이를 측정합니다.
• 인식론적 유연성은 기존 정확도나 안전성 벤치마크로 평가되지 않습니다.
• 입장 내용 밀도가 가장 강력한 신호를 제공하며, 표면적인 어휘 마커에 의존해서는 안 됩니다.
• 유연성은 모델의 일반 능력과 직교하는 독립적인 특성입니다.