안녕하세요, UkisAI의 Jovan입니다. 저희는 작지만 작은 규모의 최첨단(frontier) LLM을 구현하는 기술을 구축하고 있는 연구소이며, 이를 오픈 소스로 공개하고 있습니다! 이 게시글은 간단히 커뮤니티 여러분께 감사 인사를 전하기 위함입니다. 여러분이 제공해주신 놀라운 파인튜닝, 양자화(quantization), 그리고 전반적인 개선 덕분에 저희의 초기 모델이 주목을 받았고, 이 방향으로 계속 개발할 수 있는 지원을 받게 되었습니다! 여러분께서 기꺼이 노력하여 기여해주시지 않았다면, 저희는 현재 성과 중 절반도 이루지 못했을 것입니다. 참고로: Swift Qwen 3.8 27B는 저희가 처음 공개한 오픈 소스 모델입니다. 이 모델은 작은 LLM 내부의 병리적인 과잉 사고 패턴을 제어하는 것이 토큰 사용량을 -58.3% 줄이고 속도를 x1.95 높일 수 있음을 증명합니다. 이는 단순히 짧게 생각하도록 훈련시키는 것이 아니라, 더 효율적으로 생각하도록 훈련함으로써 정확도를 잃지 않기 때문입니다. 저희는 계속 개발하고 있으며 곧 다음 모델을 공개할 예정입니다: - Swift1.5 Qwen3.8 27B (일부 학습 버그가 수정되고 RL이 추가된 개선된 체크포인트) - 다가오는 주에 Swift Qwen3.8 Flash Next를 출시할 예정입니다. 현재는 성급하거나 불완전한 결과를 제공하지 않기 위해 벤치마크 스위트를 실행하고 있습니다. 이번에는 여러분들이 제안해주신 대로 코딩과 장거리(long horizon) 등 더 많은 벤치마크를 포함했습니다! Swift를 사용해보신 분들께 부탁드립니다. 저희가 다가오는 모델에서 어떤 양자화, 기능, 변경 사항을 보고 싶은지 알려주시면 감사하겠습니다. 지난번에는 여러분들이 요청하신 것의 절반도 생각하지 못했기 때문에 이번에는 더 잘 만들 수 있을 것입니다 :) 이제 비효율적인 파인튜닝 시대가 시작됩니다!