텐센트가 인간 개입 없이 스스로 재작성, 재학습, 개선하는 27B 모델을 공개하다

중국이 재귀적 자기 개선(recursive self-improvement)에 성공했다.🤯

Tencent는 인간의 개입 없이 스스로를 재작성하고, 재학습하며, 개선하는 27B 모델을 공개했습니다.

이것은 'Terminal-RSI'라고 불리며 AI가 가진 가장 큰 문제 중 하나를 해결합니다.

그들은 믿기 어려울 정도로 게으릅니다. (지적)

일반적으로 에이전트는 부분적인 진전을 이루고, 성공했다고 주장하지만 최종 환경 검증(final environment verifier check)에서 완전히 실패하는 경우가 많습니다. 이 새로운 파이프라인은 에이전트가 실제로 작업을 완료하도록 강제합니다.

작동 방식은 다음과 같습니다:

그들은 두 개의 교차되는 단계로 구성된 재귀 루프를 구축했습니다.

• RSR (recursive self-rewrite): 모델이 스스로 성공적으로 재작성한 궤적(trajectories)을 통해 미세 조정합니다.

• RPR (recursive policy-refine): 이전 단계에서 직접 상속받은 '비평가'(critic)를 사용하여 강화학습 (reinforcement learning, PPO)을 실행함으로써 발견된 행동들을 고정시킵니다.

• 루프: 훈련 시퀀스가 스스로 도약합니다: Base → RSR-1 → RPR-1 → RSR-2 → RPR-2

그리고 그 수치는 엄청납니다..

그들은 이 기술을 qwen3.8-27b 기본 모델에 적용했습니다. 네 가지 'terminal-bench' 스위트 전반에 걸쳐, 에이전트의 평균 성공률은 20.68%에서 무려 50.58%까지 급증했습니다.

가장 어려운 벤치마크인 (terminal-bench 4.0)에서는 기본 모델이 0.00%를 기록했습니다.

하지만 terminal-rsi 적용 후에는?

19.84%에 도달했습니다 (이는 gemini 3.8 flash와 같은 참고 모델과 동등한 수준입니다).

비밀 병기는 무엇일까요? 보상 시스템을 고쳤다는 것입니다.

AI에게 단순히 시도하거나 의미론적 검사(semantic checks)를 통과했다는 이유로 '밀집 보상'(dense rewards)을 주는 대신, 그들은 '성공 우선 보상'(success-prioritized reward, SPR)으로 전환했습니다.

이것은 엄격한 성공과 부분적인 공로를 수학적으로 분리합니다.

기본적으로 에이전트는 코드가 실제로 최종 터미널 게이트(terminal gate)를 통과할 때만 막대한 보상 지급을 받습니다. 따라서 가짜 성공을 하는 것을 멈추게 합니다.

부분적인 로컬 수리와 엄격한 터미널 검증 사이의 격차는 빠르게 줄어들고 있습니다.

우리는 에이전트들이 자체 훈련 환경을 구축하고 자율적으로 레벨업하는 것을 지켜보고 있습니다... 미래는 정말 흥미진진합니다.