안녕하세요, UkisAI의 Jovan입니다. 오늘 저희는 커뮤니티에서 요청하신 두 모델을 통해 Swift 모델 시리즈를 확장합니다. 저희는 '병리적 과잉 사고(pathological overthinking)'와 연결된 토큰이 무엇인지 파악하고 이를 페널티화함으로써 Swift GLM-5.3-Flash와 Swift Ornith 9B의 효율성을 높였습니다. 이 과정에서 추론 길이를 직접적으로 '공격'하지 않았으며, 이후 추가적인 사후 학습(post-training)을 거쳐 정확도를 회복했습니다. 이를 통해 모델이 RL과 온-정책 증류(on-policy distillation)를 통해 적은 추론으로도 적응하도록 만들어 '압축된' 토큰 사용량을 달성하면서도 정확도를 유지할 수 있었습니다. 저희 데이터셋은 여기서 찾으실 수 있습니다 (비록 모델별로 재샘플링했지만), 그리고 훈련 접근 방식에 대한 자세한 내용은 여기서 확인하실 수 있습니다.
Swift1.5 GLM-5.3-Flash의 경우, MMLU-PRO에서 -61.4%의 사고 토큰 감소와 측정된 모든 벤치마크에서 평균 -0.46%의 정확도 손실만 기록했습니다. 이 모델은 다른 시드(seed)로 x5번 실행되었으며 (Terminal-Bench 2.1, DeepSWE v1.1, GPQA-Diamond, MMLU-Pro, C-Eval, IFBench, AIME 2026, HMMT, LiveCodeBench v6), 포괄적인 수의 양자화(quant) 버전을 출시합니다: GGUF(1bit-8bit), W4A16AWQ, NVFP4입니다. 또한 독립적으로 GSQ-RCO 논문을 재현하는 작업도 진행하고 있으며, 현재까지의 연구 결과에 따르면 저희 Q3 GSQ-RCO는 그 크기 대비 SOTA(State-of-the-Art)를 보여주고 있어, 평가 스위트가 완료되는 대로 며칠 내로 출시할 예정입니다. GGUF와 1bit-8bit 양자화 버전은 https://huggingface.co/ukisai/Swift-1.5-GLM-5.3-Flash-GGUF에서, 그리고 커뮤니티에서 선호하는 (VRAM이 적은 사용자에게는 특히) Swift1.5 Ornith-9B는 -33.5%의 사고 토큰 사용량 감소와 정확도 손실 없음이라는 결과를 보였지만, 더 중요한 것은 과잉 사고 루프가 약 2배 줄었다는 점입니다. 즉, 모델에 프롬프트를 입력했을 때 요청한 프롬프트를 완료하지 못하고 루프에 빠질 가능성이 훨씬 적다는 의미입니다. 참고로 이 버전은 실험적인 출시이며, 모델이 이미 토큰 최적화 전에 사후 학습을 거쳤기 때문에 피드백을 환영합니다. GGUF와 4bit-8bit 양자화 버전은 https://huggingface.co/ukisai/Swift-1.5-Ornith-9B-GGUF에서 다운로드할 수 있습니다. 두 모델 모두 기본 MTP 또는 DFLASH2 헤드와 함께 작동합니다.
커뮤니티 여러분께 저희가 추론 효율성을 높이기 위해 어떤 다른 모델들이 필요한지, 그리고 또 만들고 싶은 양자화(quant) 모델이 있는지 알려주시기를 부탁드립니다. 살짝 공개하자면, 저희는 현재 Swift DeepSeek v4.1 Flash 1017을 평가하고 있으며, 이것이 지금까지의 최고 모델인 것 같습니다! 또한 자체적인 기반 모델을 개발 중이며, 1B 및 4B 모델은 2026년 11월에 출시될 예정입니다. 이 모델들은 다양한 사내 코딩 데이터셋으로 사전 학습(pre-trained)되었으며, 기존의 Swift 모델들처럼 토큰 효율적(token efficient)이 되도록 사후 학습(post-trained)되었습니다. 이 출시가 모두 마음에 드셨으면 좋겠습니다! 그리고 언제나처럼 모든 피드백을 환영하며, 커뮤니티의 각 요청에 응답할 수 있도록 노력하겠습니다. :) 제출자: /u/Secure_Recording_472 [링크] [댓글]
