로컬 AI 음성 비서가 점점 멍청해지는 과정 관찰 (내 RTX 5060 Ti에서 진행한 9B에서 0.8B 에이전트 실험)

요약

소비자용 하드웨어에서 로컬 음성 비서 에이전트를 실행할 때 모델 크기에 따른 성능 변화를 실험했습니다. Qwen 3.5 모델을 9B부터 0.8B까지 단계적으로 축소하며 추론 및 도구 사용 능력을 관찰했습니다.

핵심 포인트

• 9B 모델은 도구 오케스트레이션이 가능하며 RTX 5060 Ti에서 실행 가능한 최적의 크기임
• 4B 모델부터는 도구 호출을 건너뛰고 사실을 추측하는 등 접지 능력이 저하됨
• 2B 모델은 대화 문맥을 상실하고 의미론적 표류(Semantic Drift) 현상이 발생함
• 0.8B 모델은 에이전트 메커니즘 작동이 불가능하며 무한 실패 루프에 빠짐