우리는 현재까지 가장 강력한 루프형 트랜스포머 (looped Transformer)인 Loopie를 선보입니다. Loopie 시리즈는 두 가지 전문가 혼합 (Mixture-of-Experts, MoE) 모델로 구성됩니다: 20B 파라미터 모델(활성 파라미터 2B)과 6B 파라미터 모델(활성 파라미터 0.6B)입니다. 루프형 트랜스포머 (Looped Transformers)는 오랫동안 과제에 직면해 왔습니다: 사전 학습 (pre-training) 연산량이 N배 증가할 때, 파라미터 수를 N배로 늘리는 것이 모델을 N번 루핑 (looping)하는 것보다 일반적으로 더 나은 성능을 보인다는 점입니다. Loopie는 이 문제를 해결합니다. 바닐라 (vanilla) 30B-A3B 모델과의 비교를 포함한 광범위한 어블레이션 연구 (ablation studies) 결과, Loopie는 동일한 연산 예산 (compute budget)으로 학습된 바닐라 트랜스포머 (vanilla Transformer) 베이스라인보다 실질적으로 뛰어난 성능을 보여줍니다. 우리의 새로운 사후 학습 (post-training) 파이프라인은 Loopie에 강력한 추론 (reasoning) 능력을 부여합니다. 2025 IMO 및 IPhO에서 Loopie는 도구 없이도 금메달 수준의 성능을 달성했습니다.