LLM은 실제로 침묵 속에서 생각하는가?
요약
LLM의 잠재적 사고 표현(latent thought representations)을 분석한 새로운 연구를 소개합니다. 인과성, 최소성, 분리성, 안정성이라는 네 가지 공리를 통해 오픈 웨이트 모델들의 사고 과정을 검증했습니다.
핵심 포인트
- 잠재적 사고 표현을 검증하기 위한 4가지 공리 제시
- 대부분의 오픈 웨이트 LLM은 네 가지 공리를 모두 충족하지 못함
- 많은 모델의 표현이 입력 임베딩 외에 추가 정보를 인코딩하지 않음
LLM은 실제로 침묵 속에서 생각하는가?
새로운 논문은 잠재적 사고 표현 (latent thought representations)을 감사하기 위해 네 가지 공리(axioms) — 인과성 (Causality), 최소성 (Minimality), 분리성 (Separability), 안정성 (Stability) — 를 공식화합니다. 어떤 오픈 웨이트 (open-weight) LLM도 이 네 가지를 모두 충족하지 못합니다. 대부분의 표현은 입력 임베딩 (input embedding) 자체 이외의 아무것도 인코딩하지 않습니다. https://t.co/5LckF0xbhj
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0