무료 루프는 없다: 학습된 모델에 루프를 적용하는 것이 추론 연산 비용을 상쇄할 때

요약

루핑(Looping)은 모델의 파라미터는 유지하면서 레이어 블록을 재적용하여 토큰당 추론 연산 비용을 증가시키는 방식입니다. 연구진이 Qwen3/Qwen3.5 모델에 루프를 적용한 결과를 분석한 결과, 0.8B 모델에서만 성능 우위를 보였습니다. 이는 고정된 파라미터 예산 내에서 루핑 기술의 효과가 작은 규모의 모델에 한정적임을 시사합니다.

핵심 포인트

• 루프 적용은 파라미터를 변경하지 않으나, 토큰당 추론 비용을 증가시킵니다.
• Qwen3/Qwen3.5 모델 중 0.8B 규모의 모델에서만 루핑이 성능 우위를 보였습니다.
• 4B 및 9B와 같은 대형 모델에서는 루프 적용이 비루프 모델 대비 이점을 제공하지 못했습니다.