정말 좋습니다! 왜 더 많은 사람들이 이에 대해 이야기하지 않는지 모르겠네요. 토큰(tokens)은 더 적게 사용하면서, Qwen 3.6 35b a3b보다 더 빠르고 정확합니다. 제 설정에서는 27b 모델만큼 성능이 좋으면서도 5배 더 빠릅니다. 그리고 Gemma 4 모델들을 완전히 압도합니다. 적어도 제 사용 사례(use case) 기준으로는 정말 놀라운 경험입니다. 다른 분들의 경험도 꼭 듣고 싶습니다. 실제적인 성능 측정이 필요하시다면, 제가 제 유형의 사용 사례에 맞춰 어떻게 테스트했는지, 그리고 다른 모델들과의 상세한 성능 비교를 설명하는 GitHub 리포지토리(repo)를 가지고 있습니다. 제가 사용한 양자화(quants) 모델, OpenCode 및 llama.cpp 버전과 함께 temperature, top-p, top-k 등을 위한 모든 플래그(flags)가 포함되어 있습니다. 만약 누락된 세부 사항이 있다면 알려주세요. 하지만 정말로, 그냥 모델을 다운로드해서 직접 사용해 보시길 권합니다. 우리 모두는 서로 다른 사용 사례를 가지고 있으며, 그것이 벤치마크(benchmarks)나 한 개인의 특이한 경험보다 항상 더 유익할 것이기 때문입니다.

수정(EDIT): 초기 댓글들을 바탕으로 조금 더 말씀드리고 싶습니다. 저의 구체적인 사용 사례는 기술적인 것입니다. 테스트 과정에서 저는 실제 수정 작업에 대해 7개의 로컬 모델을 제 연구 코드—작성된 수정 계획이 제공된 학술 논문의 계산 모델—를 대상으로 테스트했습니다. 이 작업은 여러 파일에 걸친 정보를 합성하는 것을 요구하며, 코드베이스에는 제가 작성했을 당시의 문서화되지 않은 가정들이 포함되어 있습니다. 그 부분이 어려운 지점으로 드러났습니다. 겉보기에 올바르고 오류 없이 실행되는 변경을 수행하면서도, 해당 코드가 생성하고자 하는 측정값을 조용히 무효화하는 변경을 하는 것은 쉽기 때문입니다. 대부분의 모델이 정확히 그렇게 했습니다. 채점은 결과물을 읽는 것이 아니라 실행하는 것을 기준으로 합니다. 제가 이 말씀을 드리는 이유는 KAT가 단순히 빠를 뿐만 아니라 똑똑하다는 점을 강조하기 위해서입니다. Orinth 35b가 KAT보다 약간 더 빨랐지만, 성능은 현저히 떨어졌습니다.

다음은 제가 GitHub 저장소(repo)에서 모델들을 평가한 방식을 간략하게 정리한 표입니다:

| Run Score | Notable | Qwen 3.6 27B | 8/10 (정확한 측정값만 도출) |
|---|---|---|
| KAT-Coder-V2.5-Dev 35B A3B | 7/10 (깔끔한 4개 노트북 실행) |
| Gemma 4 31B (bartowski) | 5/10 (잘못된 0 출력) |
| Ornith 1.0 35B | 3/10 (그럴듯한 숫자이나 실제로는 아님) |
| Qwen 3.6 35B A3B | 3/10 (4개의 차단 요소 발생, 실행 불가) |
| Gemma 4 26B A4B (bartowski) | 2/10 (멀티프로세싱 (multiprocessing)을 전혀 변환하지 못함) |
| Gemma 4 31B QAT (unsloth) | 1/10 (테스트 보상 (test rewards)이 반전됨) |

제출자: /u/The_Paradoxy [link] [comments]