Qwen 3.6 35B 사용 후기

특히 Unsloth의 UD_Q4_K_XL 양자화 모델을 언급하자면, 이는 질문이 될 것이고 관련성이 높습니다. 이제는 구형입니다. 코딩 작업 중 규모가 중간 정도이거나 심지어 작은 프로젝트에도 능숙하지 못합니다. 제 코드베이스를 이것에 맡기지는 않을 것입니다. 다른 모든 모델과 마찬가지로 환각 현상을 일으킵니다. 결코 완벽하지 않습니다. 저는 파인튜닝된 모델들이 마음에 들지 않습니다. 거의 모두 코딩에 초점을 맞추고 있어서 일반적인 비서 기능을 상당히 잃어버렸습니다. 이 모델이 잘하는 것은 일반적이고 광범위한 에이전트 행동입니다. 거실의 조명을 설정하거나, 영화를 재생하기 위해 이 기계를 작동시킬 수 있습니다. 월마트에 도착할 때 식료품 목록을 제 휴대폰/시계로 보낼 수 있습니다. 매일 출근 시 기록하는 것을 잊지 않도록 상기시켜 줄 수 있습니다. 제가 차 밑에 있어서 이 물건을 딱 맞는 자리에 놓았는데, 이 렌치를 올바른 위치에 넣는 데 세 번째 손이 필요해서 남편에게 와달라고 말할 수 있습니다. 아빠에게 반려동물이나 제 프로젝트 중 하나에 대해 이야기해 달라고 할 수 있습니다. 왜냐하면 저는 그분께 당신의 기억력을 자랑하고 있기 때문입니다. 이것은 이 모델이 일관되게 할 수 있는 모든 쓰레기 같은 것들입니다. 때때로 약간 불안정할 때가 있지만, 과제에 집중하며 작은 실수는 문제가 아닐 정도로 충분히 빠릅니다. 최근 이 모델을 구동하기 위해 Tesla P100 몇 개를 얻었고, 이는 제한된 하드웨어에서 이미 꽤 좋은 속도로 작동하던 이 모델이 진정한 대화 속도로 실행되게 만들었습니다. ~120-140 t/s 생성, 0ctx에서 ~1000PP, 13k에서 ~700입니다. 이러한 작업을 수행하는 방법을 알 만큼 충분히 똑똑하며, 적절한 샘플러 설정을 사용하면 매우 효율적으로 생각합니다. 정말 멋집니다. 이 모델은 prism launcher appimage를 통해 실행되지 않는 기계에 minecraft 모드 팩이 설치되어 작동하고 있습니다. 걱정하지 마세요, 제 tailnet에 있는 컴퓨터로만 ssh가 가능합니다. 아마 괜찮을 것입니다. 페르소나를 유지하는 것은 서툽니다. 제 TTS 모델은 Paul Bettany의 MCU Jarvis로 훈련되었습니다. 이 모델이 적절한 구문을 내뱉을 때면 마치 마법 같습니다. 하지만 그런 경우는 자주 일어나지 않습니다. Gemma4가 그 부분에서 뛰어납니다.

솔직히 Qwen4 모델을 이 클래스(3040B 파라미터, 25B 활성)로 출시한다면, 코딩에 초점을 맞추고, 과도하게 생각하며, 진정으로 능력이 있지만 전혀 빠르지 않은 난장판이 될까 봐 무섭습니다. Gemma4 26b는 돌처럼 바보하지 않았다면 매우 근접했을 것 같습니다. 현재로서는 제가 Anthropic에게 그 코딩 관련 쓰레기 같은 것을 돈 주고 지불하고 있습니다. 어쩌면 Flash를 좋은 속도로 실행할 수 있게 되면(현재 strata 사용 시 3040 t/s이지만, q3에서는 괜찮습니다), Claude를 구석으로 쫓아낼 수 있을지도 모릅니다. 저는 3.6 35b와 같은 모델을 원하지만 더 똑똑한 것을 원합니다. 속도는 그대로이면서도 사소한 것들을 생각하는 능력이요. 메모리 업데이트 같은 것이요. 제 달력에 무언가를 추가해달라고 요청했는데, 특정 시간에 대한 전용 알림을 별도로 설정해 주는 것도 좋을 겁니다. 그런 게 좋겠어요. 코딩에 더 초점을 맞추지 않았으면 합니다. 코딩 어시스턴트 봇은 너무 많습니다. 그것들은 훌륭합니다. 하지만 일반적인 AI 비서 기능은 아직 평범한 사람에게는 해결되지 않은 것 같습니다. 아마도 일반 지식을 개선할 수는 있겠지만, 저는 n-gram 테이블이 그것을 해결해 줄 것이라고 생각합니다. 저번 밤에 P100이 ROCm을 사용한다고 했습니다. 바보 같은 봇입니다. 제출자: /u/Mrinohk [링크] [댓글]