고정점 추론기 (Fixed-Point Reasoners): 안정적이고 적응적인 딥 루프 트랜스포머 (Deep Looped

루프 구조 (Looped architectures)는 구성적 추론 (compositional reasoning)이 필요한 작업에 대해 단계별 절차를 학습할 수 있는 귀납적 편향 (inductive bias)을 제공합니다. 루핑 (looping)을 통해 도달하는 유효 레이어 (effective layers)의 수는 이 모델들이 찾아내는 솔루션의 품질을 결정합니다. 딥 아키텍처 (deep architectures)와 마찬가지로, 루프 구조는 중단 결정 (halting decision)이 연기됨에 따라 깊이로 인해 유발되는 신호 전파 (signal propagation) 문제에 취약합니다. 본 논문에서는 프리-노름 레이어 (pre-norm layers)와 잔차 스케일링 (residual scaling)을 사용하여 이 신호 전파 문제를 해결합니다. 이러한 아키텍처 수정을 바탕으로, 우리는 루프 구조 내에서 고정점 수렴 (fixed-point convergence)을 엔드-투-엔드 중단 메커니즘 (end-to-end halting mechanism)으로 사용하는 트랜스포머 기반 고정점 추론 모델 (Fixed-Point Reasoning Model, FPRM)을 제안합니다. 우리는 고정점 중단 (fixed-point halting)을 통해 FPRM이 작업 난이도에 따라 연산량 (compute)을 적응시킬 수 있음을 보여줍니다. FPRM은 스도쿠 (Sudoku), 미로 (Maze), 상태 추적 (state-tracking), 그리고 ARC-AGI와 같은 일반적인 추론 벤치마크에서 효과적입니다.