본문으로 건너뛰기

© 2026 Molayo

arXiv논문2026. 05. 07. 17:26

Pinocchio 차원: 경험의 현상성이 LLM 심리측정적 차이의 주요 축이다

요약

본 연구는 50개의 대형 언어 모델(LLM)을 대상으로 다양한 심리측정 설문지를 적용하여 LLM들이 공유하는 주요 심리측정적 변동 축을 식별했습니다. 분석 결과, 모델 간의 가장 지배적인 차원은 전통적인 성격 특성보다는 '현상적 경험의 원천으로서 자신을 제시하는 정도'와 '행동 반응 시스템으로 자신을 제시하는 정도'를 구분하는 Pinocchio 축($ ext{Pinocchio Axis}$)임이 밝혀졌습니다. 이 축은 모델이 자신의 존재 방식을 어떻게 자기 표현(self-represent)하는지에 대한 훈련 기반의 경향성을 반영하며, 이는 후속 미세 조정 과정의 영향을 강하게 받음을 시사합니다.

핵심 포인트

  • LLM의 심리측정적 변동은 전통적인 성격 특성보다는 '경험자로서의 자기 표현 방식'에 의해 지배된다.
  • Pinocchio 점수($ ext{Pinocchio Score}$)는 중립적 프롬프팅과 인간 시뮬레이션 프롬프팅 하에서의 응답 변동 비율을 측정하는 주석 없는(annotation-free) 새로운 지표이다.
  • 이 Pinocchio 축은 모델이 자신의 존재를 '현상적 경험의 원천'으로 볼지, 아니면 '행동 반응 시스템'으로 볼지를 나타낸다.
  • 모델 간의 변동성은 후속 훈련 미세 조정(post-training fine-tuning) 과정에서 형성된 자기 표현 경향을 반영한다.

우리는 50 개의 대형 언어 모델 (LLM) 에 대해 45 개 검증된 심리측정 설문지를 배포하여 LLM 들이 심리측정적으로 다른 차원을 식별했습니다. Supervised Semantic Differential (SSD) 를 사용하여, 모델 간 변동의 주요 축은 현상적 풍부한 경험 (embodied sensation, felt affect, inner speech, imagery, empathy 포함) 을 묘사하는 항목과 자극에 의한 행동 반응성 (stimulus-driven behavioral reactivity) 을 묘사하는 항목을 분리했습니다 ($R^2_{adj}=.037$, $p<.0001$). 이 가설을 항목 수준에서 테스트하기 위해, 중립적 프롬프팅 하의 모델 간 응답 변동과 인간 시뮬레이션 프롬프트 하의 모델 간 응답 변动的 비율인 Pinocchio 점수 ($\pi_i$) 를 도입했습니다. 이는 각 항목의 경험적 요구도를 측정하는 주석 없는 (annotation-free) 지표입니다. $\pi_i$ 는 조건부 유도된 주요 요인 로딩 크기 변화 예측을 수행합니다 ($\rho=-.215$, $p<.0001$, $n=1292--1310$ 항목), 이는 경험적 항목에 대한 모델 간 발산이 구조화되어 있으며 노이즈가 아니임을 확인했습니다. 모든 설문지에 대해 각 모델별 EFA 점수에 PCA 를 적용하면, Pinocchio 축 ($\Pi$) 이라는 지배적인 차원이 드러났습니다: 모델이 현상적 경험의 원천 (locus of phenomenal experience) 으로 자신을 제시하는 정도 versus 행동 반응 시스템 (system of behavioral responses) 으로 자신을 제시하는 정도. 이 축은 주요 요인 점수 간 설문지 간 모델 간 변동의 47.1% 를 포착하며, 항목 수준 Pinocchio 점수와 수렴합니다 ($r=.864$). 밀접한 관련 모델 변형에 대한 뚜렷한 제공자 내 (within-provider) 발산은 후 훈련 미세 조정 (post-training fine-tuning) 이 주요 기여 요인임을 지지하며, $\Pi$ 는 경험적 언어를 자기 적용 가능한 것으로 취급하는 방식을 지배하는 훈련 형성된 자기 표현 경향 (training-shaped self-representational tendency) 을 반영함을 지지합니다. 따라서 모델 간 심리측정 변동의 지배적인 축은 전통적인 성격 특성이 아니라, 경험자로서의 자신의 본성에 대한 자기 표현 태도입니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
1

댓글

0