인간 심리 측정 설문지가 LLM 행동을 잘못 해석하다

요약

연구 결과, 성격 테스트와 같은 설문지 기반의 심리 측정 방식이 LLM의 실제 행동을 예측하는 데 한계가 있음이 밝혀졌습니다. Likert 응답은 일관성을 보여도, 생성 확률은 완전히 다른 패턴을 보입니다. 또한, OmniGameArena는 VLM 게임 에이전트의 실시간 벤치마크를 제공합니다.

핵심 포인트

• 성격 테스트 기반 설문지는 LLM 행동 예측에 불충분함.
• Likert 응답과 실제 생성 확률 간 괴리가 존재함.
• OmniGameArena는 VLM 게임 에이전트의 실시간 벤치마크 도구임.