Tessera-27B-B-CJK-RL: CJK 사고방식의 Qwen3.8-27B 코딩 에이전트에 대한 RL 업데이트로, 토큰 절약 효과를 대부분

몇 주 전 저희는 Tessera-27B-B-CJK를 여기에 게시한 적이 있습니다. 이 모델은 압축된 CJK(중국어/일본어/한국어)로 사고하고 에이전트 턴당 생각하는 토큰을 적게 사용하는 Qwen3.8-27B 코딩 에이전트입니다. 그때 주신 모든 피드백에 감사드립니다. 오늘 저희는 RL 버전인 Tessera-27B-B-CJK-RL을 출시합니다. 오픈 웨이트(Open weights)이며, Apache-2.0 라이선스를 따릅니다.

• Hugging Face: https://huggingface.co/ZelligeAI/Tessera-27B-B-CJK-RL
• 릴리스 게시물: https://zellige.ai/research/tessera-27b-b-cjk-rl-release
• RL 방법론 작성: https://zellige.ai/research/tessera-27b-b-cjk-rl

무엇이 바뀌었는가:
지난번 질문의 상당 부분은 품질에 관한 것이었습니다. Tessera-27B-B-CJK는 어려운 수학과 코딩 면에서 베이스 모델보다 약했기 때문에, 이번 버전에서는 여기에 추가하여 수학 및 코딩에 대한 8개의 RL 업데이트를 적용했습니다.

수치:
(x높은 노력도, 두 Tessera 모델 모두 같은 날짜와 같은 시드를 사용하여 샘플링함):

• AIME + HMMT 2026 (총 63개 신규 문제, 각 2회 시도): 126문제 중 108문제를 맞힌 기록은 Tessera-27B-B-CJK의 97문제 대비 높은 수치이며, 64K 창에서 11개 대 23개의 시도가 잘렸습니다. 저희는 베이스 모델로는 이 테스트를 진행하지 않았습니다.
• 주요 난이도 세트 (AIME 2022-2024년, LiveCodeBench 및 MATH 레벨 5의 118문제): 100대 89입니다. 이전 실행에서 베이스 모델은 98점을 받았기 때문에, 이제는 그보다 뒤처지기보다는 대략 비슷한 수준에 도달했습니다.
• 에이전트 턴 (훈련에서 제외된 16개 코딩 작업으로부터 나온 64개의 신규 상태): 일반적인 턴당 베이스 모델의 생각하는 토큰 대비 0.67배(90% CI 0.53-0.85)를 사용하며, 유효한 도구 호출은 256개 중 256개입니다.
• 이는 Tessera-27B-B-CJK의 일반적인 턴 대비 1.11배(CI 0.98-1.26)에 해당하므로, 첫 번째 버전도 여전히 약간 더 많은 절약 효과를 유지합니다 (동일한 작업에서 베이스 모델 대비 0.60배).

제외된 작업의 예시 턴:
테스트 스위트: 기준선과 동일(기존 5개 실패는 변함없고 +11개 신규 통과). 회귀 없음.
Typecheck: 기존 version.ts만 오류(predev 생성으로 인한 것). 수정 파일에 대해 lint를 실행합니다. 베이스 Qwen은 같은 단계에서 158 토큰을 사용했습니다. 이는 평소보다 큰 절감입니다. 일반적인 턴이 베이스 모델의 약 3분의 2 수준이기 때문입니다.

훈련 방법:
Tessera-27B-B-CJK를 시작점으로 사용하여 Tinker에서 8개의 RL 업데이트를 진행했으며, 저희의 ablation 작성물에서 가져온 per-rollout 가중치를 사용했습니다. 각 롤아웃(rollout)의 이점은 자체 토큰에 분산되므로, 장기간 실패한 롤아웃이 업데이트를 지배하지 않습니다.

에이전트당 턴(turn)이 더 길어지는 후속 업데이트가 있었는데, 보상(reward)이 수학과 코드만 보기 때문에, 우리는 업데이트 8을 선택하여 출시 전에 홀드아웃 태스크(held-out tasks)에서 확인했습니다. 지난번에 사람들이 물어본 몇 가지 사항들:

• CJK가 토큰당 더 많은 의미를 담고 있나요? 약간 그렇습니다. 구(phrase) 수준에서 한 단어가 전체 영어 구문을 대신할 수 있기 때문입니다. 대부분의 절약 효과는 모델이 덜 생각하도록 훈련하는 것에서 나오며, CJK는 그 위에 추가된 작은 요소일 뿐입니다. 우리는 이 부분을 더 확장할 계획이며, 여기의 제한 요인은 토크나이저(tokenizer)이고, CJK를 넘어서 다른 방법을 사용하는 것에 대한 연구가 진행 중입니다.
• 양자화(Quants): GGUF 리포지토리에는 BF16 외에 UL-Q3_K_XL부터 Q8_K_XL까지 있습니다 (Q3는 13.15 GB이며, 아직 XXS는 없습니다). BF16 GGUF, 다섯 가지 양자화 모델(quants), 그리고 NVFP4 체크포인트 모두 간단한 오류 점검(breakage check)을 통과했습니다 (유효한 도구 호출(valid tool call), 답변에 중국어 없음, 루프 없음). 저희가 이를 벤치마크하거나 비전 프로젝터(vision projector)를 시도하지 않았기 때문에 결과는 매우 환영받습니다.
• 노력(Effort): 이전과 같이 xhigh를 사용하세요. 또한, 11월 5일 이전에 원본 Tessera-27B-B-CJK-NVFP4를 다운로드한 경우: 해당 모델의 config.json이 vLLM에서 로드되지 않았습니다. 저희가 이를 수정했으므로 config.json을 다시 다운로드해야 합니다.
  제출자: /u/ghgi_ [링크] [댓글]