Qwen3.6 27B 양자화 모델 (quants)

저는 bartowski 27B IQ3 XXS, turbo3(그리고 MTP가 가능해졌을 때 unsloth IQ3 XXS turbo4를 사용한 일부 부분)로 완전히 제작된 프로젝트(사진)를 가지고 있습니다. [IMG:1]

이 프로젝트는 의도한 대로 작동합니다. 빠르고, 신뢰할 수 있으며... 그냥 잘 작동합니다. 좋은 품질을 유지하기 위한 최소 양자화 (quantization) 수준에 대해 너무 많은 논쟁을 읽었기에, 마음의 평안을 얻고자 작은 테스트를 진행해 보았습니다. 제가 이 낮은 양자화 모델을 사용함으로써 큰 아키텍처 및 코드 품질상의 이점을 놓치고 있는 것일까요? 시간을 좀 더 들여서 더 강력한 티어의 응답을 받는 것이 더 낫지 않을까요?

그래서 저는 간단한 요청/프롬프트(prompt)를 만들었습니다:
"코드를 살펴보고 아키텍처 선택 사항을 검토한 뒤, 더 나은 방법과 그 이유를 알려주세요. 다른 에이전트가 구현할 수 있도록 다단계 실행 계획이 담긴 'ActionPlan_Qwwn3.6_27B.md'를 작성하세요."

저는 이를 두 가지 변형의 Qwen3.6 27B (unsloth) 모델(5070ti 16Gb 환경)로 실행했습니다:

Q8, 비압축 K/V (1h56m, 306pp/3tg)
IQ3 XXS turbo4 (0h5m, 1230pp/50tg)

그 다음, 동일한 모델을 사용하여 두 계획 사이의 차이점을 비교하는 비교표를 만들었습니다. 전체 표 결과로 번거롭게 해드리지 않기 위해, 모델이 표를 작성한 후 내린 최종 결론만 여기에 남겨두겠습니다:

---

권장 사항:

Q8 (full K/V)은 다음 항목에서 더 강력합니다: API 레벨에서의 레이스 컨디션 (race conditions) 방지, 폴링 엔드포인트 (polling endpoints) 통합, 그리고 입력값 정제 (input sanitization).
IQ3 XXS turbo4는 다음 항목에서 더 강력합니다: 원자적 파일 쓰기 (atomic file writes), 적절한 스레드 생명주기 관리 (thread lifecycle management), 상태 확인 (health checks), 그리고 모듈형 코드 구성.
최선의 접근 방식: 두 가지를 병합하십시오 — Q8 (full K/V)의 Phase 1 (실행 보호, 통합 폴링, 파라미터 정제)과 IQ3 XXS turbo4의 Step 1.1–1.3 (원자적 쓰기, 스레드 생명주기)을 결합하여 통합된 Phase 1 기반으로 삼으십시오.

내 생각: IQ3 XXS는 일반적인 코딩 작업에 충분히 괜찮습니다 (매우 좋다고 말하고 싶습니다). 만약 16GB의 메모리만 가지고 있다면, 아주 큰 손실은 없을 것입니다. 이런 프로젝트에서는 좋은 판단력과 좋은 프롬프트 (prompt)가 훨씬 더 중요합니다.
https://preview.redd.it/da25acl6tm7h1.png?width=2541&format=png&auto=webp&s=58753db133e71cb1b1b69df2880af296d49f070b
제출자: /u/jopereira
[링크] [댓글]