루프 해결하기: 언어 및 추론을 위한 Attractor Models

Looped Transformers는 잠재 표현 (latent representations)을 반복적으로 정제함으로써 언어 모델링 (language modeling)과 추론 (reasoning)을 개선하며, 순수 피드포워드 (feed-forward) 연산에 대한 유망한 대안을 제공합니다. 그러나 순환 구조 (recurrent architectures)는 학습이 불안정하고, 최적화 및 배포 비용이 높으며, 작고 고정된 순환 깊이 (recurrence depths)로 제한된다는 문제가 있습니다. 우리는 Attractor Models를 소개합니다. 이 모델에서는 백본 모듈 (backbone module)이 먼저 출력 임베딩 (output embeddings)을 제안하면, Attractor 모듈이 암시적 미분 (implicit differentiation)을 통해 얻은 그래디언트 (gradients)를 사용하여 고정점 (fixed point)을 구함으로써 이를 정제합니다. 따라서 학습 메모리는 유효 깊이 (effective depth)에 관계없이 일정하게 유지되며, 반복 횟수는 수렴 (convergence)에 따라 적응적으로 선택됩니다. 실증적으로, Attractor Models는 대규모 언어 모델 사전 학습 (large-scale language-model pretraining)과 소형 모델을 이용한 추론 (reasoning with tiny models)이라는 두 가지 영역에서 기존 모델들을 능가합니다. 언어 모델링에서 Attractor Models는 표준 Transformers 및 안정적인 루프 모델 (looped models)에 비해 크기에 관계없이 파레토 개선 (Pareto improvement)을 달성하며, 학습 비용을 줄이면서도 퍼플렉시티 (perplexity)를 최대 46.6%, 다운스트림 정확도 (downstream accuracy)를 최대 19.7%까지 향상시킵니다. 특히, 770M 규모의 Attractor Model은 두 배 더 많은 토큰으로 학습된 1.3B Transformer보다 뛰어난 성능을 보입니다. 까다로운 추론 작업에서, 우리는 단 27M 파라미터를 가진 모델과 약 1,000개의 예시만으로 Sudoku-Extreme에서 91.4%, Maze-Hard에서 93.1%의 정확도를 달성함을 보여줍니다. 이는 Claude 및 GPT o3와 같은 프런티어 모델 (frontier models)이 완전히 실패하고, 특화된 재귀적 추론기 (specialized recursive reasoners)가 더 큰 규모에서 붕괴되는 상황에서도 유리하게 확장됩니다. 마지막으로, 우리는 Attractor Models가 우리가 평형 내재화 (equilibrium internalization)라고 부르는 새로운 현상을 보인다는 것을 입증합니다. 고정점 학습 (fixed-point training)은 모델의 초기 출력 임베딩을 평형 (equilibrium) 근처에 배치하여, 추론 시 (inference time) 성능 저하를 거의 일으키지 않으면서 솔버 (solver)를 제거할 수 있게 합니다. 종합적으로, 이러한 결과들은 Attractor Models가 순환 (recurrence)을 모델이 내재화하는 법을 배울 수 있는 연산으로 전환함으로써 반복적 정제 (iterative refinement)를 확장 가능하게 만든다는 것을 시사합니다.