빠른 시작 llama.cpp llama-cli \ -m Qwythos-9B-v2-Q4_K_M.gguf \ -p "Walk through the biochemistry of how organophosphate nerve agents inhibit acetylcholinesterase." \ -n 8192 \ --temp 0.6 --top-p 0.95 --top-k 20 --repeat-penalty 1.05 \ -c 16384 v2는 반복(looping) 문제가 학습을 통해 해결되었기 때문에, --repeat-penalty는 이제 선택 사항이며 탐욕적 디코딩 (greedy decoding, --temp 0) 상태에서도 일관성을 유지합니다. Ollama ollama run hf.co/empero-ai/Qwythos-9B-v2-GGUF:Q4_K_M LM Studio / jan / KoboldCpp .gguf 파일을 런타임의 모델 디렉토리에 넣기만 하면 됩니다. Qwythos는 표준 Qwen3.5 채팅 템플릿 (chat template)을 사용하며, 최신 GGUF 런타임은 파일에서 이를 자동으로 로드합니다. MTP 초안 추측 (MTP draft speculation) llama-server \ -m Qwythos-9B-v2-MTP-Q4_K_M.gguf \ --spec-type draft-mtp \ --spec-draft-n-max 6 \ -c 16384 --port 8080 MTP 지원을 위해서는 최신 llama.cpp 빌드가 필요합니다. 사용 중인 런타임이 아직 MTP를 지원하지 않는 경우, 일반 파일을 사용하세요. Qwythos-9B-v2는 새롭고 개선된 Qwythos입니다 — 기존 Qwythos의 모든 심층 사고 체인 (deep chain-of-thought reasoning)을 유지하면서 반복 동작(looping behavior)을 수정했습니다. 탐욕적 디코딩 또는 낮은 온도 (low-temperature) 디코딩 시 나타나던 반복/퇴화(looping/degeneration) 현상이 학습을 통해 제거되었으며 (6.7% → 0%), 네이티브 MTP 헤드(MTP head)가 복구되었고, 정체성 프롬프트(identity prompt)가 정리되었습니다. 그러면서도 지식과 추론 능력은 기본 Qwythos 수준(또는 그 이상)으로 유지됩니다. 이 수정에는 FTPO (Final-Token Preference Optimization)가 사용되었습니다: 반복 루프를 시작하는 정확한 토큰을 식별하고, 모델이 해당 위치에서 일관된 대안을 선호하도록 부드럽게 학습시켜 나머지 분포 — 즉 지식과 추론 능력 — 는 건드리지 않고 유지합니다. 전체 학습 세부 정보, 평가 수치 및 샘플 생성 결과는 기본 모델 카드 (base model card)를 참조하세요.

일반 텍스트 가중치 (Normal text weights) — 트렁크(trunk)만 포함 (32개 블록)

어떤 것을 선택해야 할지 모르겠다면, Q4_K_M이 적절한 시작점입니다.

MTP 활성화 텍스트 가중치 (MTP-enabled text weights) (33개 블록, nextn_predict_layers = 1)
이 파일들은 복구된 Qwen3.5 호환 MTP 헤드 (MTP head)를 포함하고 있습니다. MTP 초안 추측 (MTP draft speculation)을 지원하는 llama.cpp 빌드( --spec-type draft-mtp )와 함께 사용하세요. MTP 행렬 (MTP matrices)은 모든 양자화 변형에서 Q8_0 정밀도로 유지됩니다.

비전 프로젝터 (Vision projector) — 이미지 입력을 위한 용도

/u/techlatest_net 에 의해 제출됨 [link] [comments]