Tessera-27B-B-CJK: 새로운 Qwen의 finetune 모델로 토큰 절약에 대한 혁신적인 접근 방식을 제시하다

Tessera-27B-B-CJK는 압축된 CJK(중국어, 일본어, 한국어)로 사고하는 Qwen3.8-27B 코딩 에이전트이며, 이 과정을 수행할 때 더 적은 토큰을 사용합니다. 오픈 웨이트(Open weights), Apache-2.0 라이선스입니다. 이것이 저희의 첫 번째 전체 "Tessera" 라인업 모델 출시입니다! - Hugging Face: https://huggingface.co/ZelligeAI/Tessera-27B-B-CJK - 논문: https://zellige.ai/research/tessera-27b-b-cjk Tessera는 토큰을 절약하고, 더 효율적으로 작동하며, 저희 연구의 다른 부분을 보여주기 위해 새로운 방법을 시도하는 모델 및 튜닝 라인업입니다.

작동 방식: 에이전트 루프(Agent loops)는 매 턴마다 사고하는 것에 비용을 지불합니다. 따라서 저희는 Qwen3.8-27B가 더 적게 생각하고, 영어 단어와 중국어 단어 및 기호를 혼합한 약어인 압축된 CJK로 생각하도록 훈련시켰습니다. 사고 과정과 출력은 분리되어 유지됩니다. 모델은 약어로 생각하지만, 답변과 도구 호출(tool calls)은 일반적인 영어와 코드로 유지되므로 사용자의 하네스(harness)는 정상적인 출력을 확인합니다.

이는 bottlecap AI의 thinkingcap 같은 몇몇 모델과 유사하지만, 저희는 이 Tessera 모델들에서 토큰 효율성에 대한 더 나은 잠재력과 연구를 보여주기 위해 더 나아가고자 계획하고 있습니다. 다음은 보류된(held-out) 작업에서 나온 실제 턴 예시입니다. 두 개의 도구 호출 전에 27개의 토큰을 사용했습니다: 查看linter 패키지; 查FileWalker; checkers 패키지에서 checker가 어떻게 등록되는지 확인. 기본 모델은 같은 단계에 137개의 토큰을 사용했습니다. 이 수치가 대부분의 경우보다 짧습니다. 일반적인 턴은 절반 정도입니다.

수치: 이 모든 수치는 동일한 입력, 11가지 보류된 코딩 에이전트 작업에서 미튜닝(untuned) Qwen3.8-27B와 비교했을 때, 높은 노력을 기울인 경우를 기준으로 합니다. - 에이전트 턴당 사고 토큰은 기본 모델 대비 0.500.64배 (일반적인 턴 0.496x, 90% CI 0.385-0.624; 토큰 가중치 0.644x) - 매칭된 턴 88개에서 100%의 유효한 도구 호출 및 반복 루프 없음 (기본 모델과 동일) - 101K131K 토큰 프롬프트에서 6/6의 유효한 도구 호출. 131k 이상의 테스트는 적지만, 수행된 몇 가지 경우에서도 완벽하게 유지되었습니다.

이것은 에이전트 루프를 위해 구축되었습니다. 경쟁 수학이나 어려운 알고리즘 코딩에는 기본 모델을 사용하십시오. 그 분야에서는 점수가 더 낮고 루프가 더 많이 발생합니다. 저희는 bf16 모델만 평가했습니다.

GGUF 및 NVFP4 파일은 테스트되지 않았으므로, 실행해 보시고 어떻게 작동하는지 알려주시면 감사하겠습니다. 훈련 방식은 다음과 같습니다: Tinker에서 네 번의 짧은 LoRA 단계를 거쳤으며, 모두 기본 모델 자체의 출력을 기반으로 구축되었습니다. 그 생각들을 압축된 CJK로 재작성하여 시드 SFT(Supervised Fine-Tuning)를 추가하고, 토큰 레벨의 anti-loop fix를 적용한 후, agentic SFT를 진행했으며, 마지막으로 가장 짧고 깨끗한 롤아웃에 대한 rejection-sampling 패스를 거쳤습니다. 논문에는 전체 파이프라인과 평가 결과, 그리고 작동하지 않았던 일부 내용들이 담겨 있습니다. Hugging Face 리포지토리에 병합된 bf16 가중치가 있으며, LoRA, GGUF 및 NVFP4 버전은 여기서 링크되어 있어 오늘 바로 다운로드하고 사용할 수 있습니다. 피드백, 버그 보고서, 양자화(quant) 결과는 언제나 환영합니다. 공식 Zellige AI reddit 계정에 게시하려고 했으나, reddit이 그 새 계정이 올리는 모든 것에 대해 상당히 화가 난 것 같으니 어쩔 수 없습니다. 현재 여행 중이라 그동안 질문에는 최선을 다해 답변드리겠습니다. /u/ghgi_ 님이 제출하셨습니다. [링크] [댓글]