논문: 생각의 가치: 하이브리드 의사 결정 모델에서 언제 추론할지 학습하기
요약
본 논문은 '제로 또는 T 사고(zero-or-T thinking)'라는 새로운 패러다임을 제시하며, 하이브리드 의사 결정 모델(HDM)을 제안합니다. HDM은 단일 모델이 암묵적 내부 추론으로 답변하거나, 필요할 때만 완전한 자기회귀 추론을 수행하도록 설계되었습니다. 이 모델은 '생각의 가치'를 측정하여 토큰 비용과 속도를 최적화하며, 에이전트 작업 환경에서 높은 효율성을 입증했습니다.
핵심 포인트
- '제로 또는 T 사고' 패러다임을 도입하여 추론 방식을 혁신함.
- HDM은 암묵적 추론(빠른 모드)과 완전한 자기회귀 추론(느린 모드)을 선택적으로 사용.
- 생각의 가치를 측정하는 자체 라우팅 블록이 핵심 역할을 수행함.
- 에이전트 작업 환경에서 토큰 비용을 최대 80.1% 절감할 수 있음.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기