제 프로젝트가 컴파일되는 동안, 현재 로컬 MoE 모델의 상태에 대한 제 생각을 공유하고 싶습니다. (여기서 '모델'이라고 언급하는 것은 모두 MoE 모델을 의미합니다.) 제가 로컬 LLM 분야에 입문했을 때 Qwen3.6과 Gemma4 모델이 출시되었습니다. 처음에는 Gemma4가 Qwen3.6보다 더 지능적으로 보였지만, 그것은 기본적인 채팅에서만 그랬습니다. 에이전트 작업(agentic tasks)에서는 Gemma4가 완전히 무너집니다. 조금이라도 어려운 작업을 주면, 둠루프(doomloops)에 빠지곤 합니다. Qwen3.6 역시 둠루프에 빠지는 것을 좋아하지만, Gemma4만큼 자주 하지는 않습니다. Qwen3.6을 사용하면 실제로 작업이 완료됩니다. 최근 Reddit에서 Liquid AI의 'Antidoom'에 대한 게시물을 봤는데, 이는 모델이 둠루프에 빠지는 것을 방지하기 위한 것입니다. 기대가 되었습니다. 그러다가 Hugging Face에서 Qwen3.6 35B의 'antiloop' 버전을 발견하고 사용해 보았습니다(Hugging Face에서 단순히 'antiloop'을 검색하세요). 정말 놀라웠습니다. 제 인생에서 처음으로 모델이 이런 행동을 보이는 것을 봤는데, 루프에 빠지기 시작하면 실제로 그것을 인지하며

Qwen3.6으로 작업하는 것은 마치 모델이 스스로 작동하며 어려운 과제를 해결하려 하지만 결국 실패하는 것 같습니다. Ornith 1.0으로 작업하는 것은 파트너가 있는 느낌입니다. 둘 다 진정으로 함께 문제를 해결하려고 노력합니다. 다양한 접근 방식을 시도하고, 루프에 빠지지 않으며, 질문을 하고, 혼자서만 일하기보다는 적극적으로 당신과 협력하려고 합니다. 이러한 행동의 결과는 훨씬 좋습니다. 저는 Ornith와 팀처럼 함께 작업함으로써 원래의 Qwen3.6이나 Gemma4로는 할 수 없었던 것을 해낼 수 있었습니다. 따라서 에이전트적(agentic) 작업을 위해 Qwen3.5/3.6 MoE 모델로 어려움을 겪고 있는 모든 분들께 Ornith를 사용해 보시기를 권장합니다. 5-bit quant (Q5-K-M)으로 시작하는 것을 추천합니다. submitted by /u/TheCat001 to r/LocalLLaMA [link] [comments]