대규모 언어 모델(LLM)의 외견상 심리적 프로필은 상당 부분 측정의 인위적 결과물이다

요약

LLM의 심리적 프로필이 모델의 실제 특성이 아닌, 측정 도구의 인위적 결과물(measurement artifact)임을 밝힌 연구입니다. 모델 간 차이의 대부분은 성격 특성이 아닌 응답 편향에 기인하며, 기존 심리 측정 도구의 타당성 문제를 지적합니다.

핵심 포인트

• LLM 간 변동의 81-90%는 성격 특성이 아닌 응답 편향에 기인함
• 모델의 능력이 높아져도 응답 편향은 완전히 제거되지 않음
• 기존 인간용 심리 측정 도구는 LLM 평가에 타당성이 부족할 수 있음
• 응답 직교성(response orthogonality)을 고려한 전용 평가 체계 필요