LLM은 실제로 침묵 속에서 생각하는가?

요약

LLM의 잠재적 사고 표현(latent thought representations)을 분석한 새로운 연구를 소개합니다. 인과성, 최소성, 분리성, 안정성이라는 네 가지 공리를 통해 오픈 웨이트 모델들의 사고 과정을 검증했습니다.

핵심 포인트

• 잠재적 사고 표현을 검증하기 위한 4가지 공리 제시
• 대부분의 오픈 웨이트 LLM은 네 가지 공리를 모두 충족하지 못함
• 많은 모델의 표현이 입력 임베딩 외에 추가 정보를 인코딩하지 않음