Qwen이 '잠시만요(Wait)'라고 반복할 때 내부적으로 어떤 생각을 하는가

요약

MIT CSAIL은 Qwen3.5-0.8B의 추론 루프를 가중치 0.016% 수정만으로 개선하여 MATH-500 점수를 크게 향상시켰습니다. 필자는 Anthropic의 Jacobian lens를 활용해 모델이 'Wait'와 같은 토큰에서 내부적으로 어떤 생각을 하는지 분석했습니다. 이 분석 결과, 수정된 모델은 의심 대신 검증 및 완료 과정을 보여주며, GGUF로 변환되어 로컬 환경에서도 실행 가능합니다.

핵심 포인트

• Qwen3.5-0.8B의 추론 루프를 최소 가중치 수정으로 성능 개선함.
• Jacobian lens를 이용해 모델 내부 사고 과정을 분석하는 방법 제시.
• 수정 전후, 내부 생각이 'Wrong'에서 'Verification' 등으로 변화함을 확인.
• GGUF 변환 및 llama.cpp로 로컬 환경에서의 검증이 가능함.