Qwen3.8-27B 대 Frontier 및 기타 모델 비교 테스트 결과

제가 가장 자주 사용하는 코딩, 코딩 (panda/numpy), 데이터 분석, 데이터 기반 의사 결정, 그리고 로컬 RAG 도메인에 대한 최종 테스트 결과를 공유합니다. 이 테스트는 500개 이상의 항목에서 다듬어졌으며, 모든 모델이 일관되게 통과하는 테스트를 제외하고 모델 간의 차별화된 신호를 제공합니다. https://preview.redd.it/5v05e81vu2vh1.png?width=2970&format=png&auto=webp&s=5bdaf24fab819c3f39bc385120988c3d99f8830c OpenRouter의 모델들은 때로는 양자화(quantization) 정보를 공개하고, 때로는 그렇지 않습니다. 예를 들어, or-qwen-qwen3.8-27b는 bf16으로 기본 설정되어 있지만, or-qwen-qwen3.8-flash-next는 양자화 정보를 공개하지 않았습니다. 이 테스트에서는 가장 많이 잘리는(truncated) 모델이 (테스트당 최대 토큰 16,384개)였습니다. 심지어 최대 토큰을 16k에서 32k로 늘렸음에도 불구하고, 과도한 사고(overthink)로 인한 잘림 현상은 완전히 사라지지 않았습니다. iq3 GSQ-RCO는 Q4 모델들 사이에서도 괜찮은 성능을 보였으며, mradermacher의 파인튜닝 모델들이 제가 하는 작업 유형에 계속해서 두각을 나타냅니다. 비교를 위해 Muse Glimmer, Qwen3.5B-A3B 등이 포함되었습니다. https://preview.redd.it/3i7z3hbyw2vh1.png?width=2550&format=png&auto=webp&s=a3b84092baf491c62c8bd8e6ca8c38a1205635dd https://preview.redd.it/tqg1u9g3w2vh1.png?width=2924&format=png&auto=webp&s=21f41501b2cb7dce4bb11d9d29f60250e895fef8 /u/norenEnmotalen 님이 제출함 [링크] [댓글]