대화 시나리오 예측을 위한 Theory of Mind 벤치마크: DialToM

요약

LLMs의 Theory of Mind (ToM) 능력이 진정한 추론 능력인지, 아니면 단순한 상관관계에 의한 것인지 검증하기 위해 'DialToM' 벤치마크를 제안합니다. DialToM은 자연스러운 인간 대화를 기반으로 하며, 단순히 정신 상태 예측(Literal ToM)뿐만 아니라, 이 상태 정보를 활용하여 사회적 대화의 미래 경로를 예측하는 기능적 유용성(Functional ToM)까지 평가합니다. 실험 결과, LLMs가 정신 상태 식별에는 강점을 보이지만, 이를 바탕으로 실제 대화 궤적을 성공적으로 예측하는 능력은 매우 부족한

핵심 포인트

• DialToM은 자연어 인간 대화를 활용하여 Theory of Mind (ToM) 능력을 검증하는 멀티플-초이스 기반의 새로운 벤치마크입니다.
• 평가는 단순 정신 상태 예측(Literal ToM)을 넘어, 상태 정보를 이용한 미래 대화 경로 추론 능력인 기능적 ToM (Functional ToM)에 초점을 맞춥니다.
• 대부분의 LLMs는 정신 상태를 식별하는 데는 능숙하지만, 이를 활용하여 사회적 궤적을 예측하는 '추론 비대칭성(reasoning asymmetry)'이 관찰되었습니다.
• LLM과 인간이 생성한 추론 사이에는 의미론적 유사성이 약하다는 점이 발견되어, 모델의 실제 이해도에 대한 의문을 제기합니다.