UkisAI Swift 시리즈 / 27B, Flash Next 및 Bonsai 2 + GSQ-RCO: -63.4% 사고량 감소, x1.95

안녕하세요, UkisAI의 Jovan입니다! 오늘 저희는 Qwen을 기반으로 하며, 병리적인 과잉사고 패턴과 관련된 토큰에 페널티를 부과하고 RL (GSPO) 및 OPD를 통해 정확도를 복원하여 훈련된 효율적인 추론 LLM인 Swift를 소개합니다. Swift Qwen 3.8 27B 모델로 13일 만에 놀라운 피드백과 35만 건 이상의 다운로로움을 기록한 후, 저희는 전체 모델 패밀리와 요청이 많았던 27B 및 Flash-Next용 GSQ-RCO 양자화(quant) 버전을 출시합니다. 이번 릴리스에는 다음 내용이 포함됩니다:

• Swift1.5 27B: 마지막 모델의 개선된 버전으로, 토큰 사용량이 더욱 적고, 버그가 수정되었으며, 에이전트 성능이 향상되었습니다. '과잉사고 오류' 루프에 빠지지 않아 Terminal Bench 2.1에서 기준 모델보다 0.35% 더 높은 점수를 기록하면서도 -58.5%의 사고량 감소를 보입니다.
• Swift Flash Next: 사고량이 63.4% 적고 속도가 1.8배 빨라져 xhigh Swift Bonsai 2 대비 -0.2%의 점수 차이로 (기준 모델 대비) 높은 정확도를 기록합니다.
• Swift Bonsai 2: 사고량은 39.8% 적지만, 0.19% 더 높은 점수를 기록했습니다 (비록 실험적이라고 언급하고 싶지만).

저희의 벤치마크는 Base 및 Swift 모델에 대해 x5로 실행되었으며, 다섯 가지 시드와 일반(GPQA, AIME26), 코딩(LiveCodeBench), 비전(ERQA), 에이전트(Terminal Bench 2.1)을 포함한 다양한 도메인에서 평균화되었습니다. 한 가지 주목할 점은 Swift1.5 27B의 Terminal Bench 2.1 점수가 언뜻 보기에는 오해의 소지가 낮다는 것입니다. 이는 버그가 아니라, Swift 모델들이 과잉사고 루프에 빠지지 않고 태스크를 끝까지 추구하여 평균 토큰 사용량이 높아지기 때문에 발생하는 단순한 현상입니다. 그럼에도 불구하고 토큰 감소율은 여전히 -38.7% 범위에 속합니다. 또한 여기에서 찾을 수 있는 재미있는 '게임 생성' 벤치마크도 추가했습니다. 이 벤치마크는 완전히 주관적이지만, Swift가 더 적은 시간 안에 더 나은 게임(Flash Next Game 및 27B Game)을 생성했습니다.

다운로드하기 전에 모델을 사용해 보거나 현재 컴퓨팅 자원이 충분하지 않은 경우를 위해 Research API와 HuggingFace Spaces도 포함했습니다! 두 가지 모두 모델 카드에서 찾을 수 있습니다. 또한 관련 모델 버전에 대해 GGUF, NVFP4, MLX 및 W4A16 양자화 버전을 만들었습니다.

저희의 학습 접근 방식과 커뮤니티 피드백에 대한 자세한 내용은 여기에서 확인하실 수 있습니다: https://www.reddit.com/r/LocalLLaMA/comments/1wg7dd5/ukisai_swiftqwen3827b_583_thinking_x195_speed/ 다양한 양자화 및 모델 버전은 각자의 컬렉션에서 이용 가능합니다: Swift1.5 27B: https://huggingface.co/collections/ukisai/swift-15-27b Swift Flash Next: https://huggingface.co/collections/ukisai/swift-flash-next Swift Bonsai 2: https://huggingface.co/collections/ukisai/swift-bonsai-2 또한, 곧 출시될 예정인 9B 변형 모델도 작업하고 있습니다. 실제 업무 과제에 대한 독립적인 평가를 통해 여러분의 피드백을 주시면 정말 감사하겠습니다. 지난 배포와 같이, 저희는 가능한 한 많은 Swift 모델 요청과 양자화 버전을 충족시키기 위해 '캔디샵(candy-shop)' 방식으로 운영하고 있으니, 댓글로 필요한 내용을 공유해 주세요! submitted by /u/Secure_Recording_472 to r/LocalLLaMA [link] [comments]