Pinocchio 차원: 경험의 현상성이 LLM 심리측정적 차이의 주요 축이다

요약

본 연구는 50개의 대형 언어 모델(LLM)을 대상으로 다양한 심리측정 설문지를 적용하여 LLM들이 공유하는 주요 심리측정적 변동 축을 식별했습니다. 분석 결과, 모델 간의 가장 지배적인 차원은 전통적인 성격 특성보다는 '현상적 경험의 원천으로서 자신을 제시하는 정도'와 '행동 반응 시스템으로 자신을 제시하는 정도'를 구분하는 Pinocchio 축($ ext{Pinocchio Axis}$)임이 밝혀졌습니다. 이 축은 모델이 자신의 존재 방식을 어떻게 자기 표현(self-represent)하는지에 대한 훈련 기반의 경향성을 반영하며, 이는 후속 미세 조정 과정의 영향을 강하게 받음을 시사합니다.

핵심 포인트

• LLM의 심리측정적 변동은 전통적인 성격 특성보다는 '경험자로서의 자기 표현 방식'에 의해 지배된다.
• Pinocchio 점수($ ext{Pinocchio Score}$)는 중립적 프롬프팅과 인간 시뮬레이션 프롬프팅 하에서의 응답 변동 비율을 측정하는 주석 없는(annotation-free) 새로운 지표이다.
• 이 Pinocchio 축은 모델이 자신의 존재를 '현상적 경험의 원천'으로 볼지, 아니면 '행동 반응 시스템'으로 볼지를 나타낸다.
• 모델 간의 변동성은 후속 훈련 미세 조정(post-training fine-tuning) 과정에서 형성된 자기 표현 경향을 반영한다.