루프 해결하기: 언어 및 추론을 위한 Attractor Models

요약

Attractor Models는 기존 Transformer의 한계를 극복하고 언어 모델링 및 추론 능력을 향상시키는 새로운 접근 방식입니다. 이 모델은 백본 모듈이 제안한 출력 임베딩을 Attractor 모듈이 암시적 미분(implicit differentiation)을 통해 얻은 그래디언트를 사용하여 고정점(fixed point)으로 정제합니다. 그 결과, 학습 메모리는 유효 깊이에 관계없이 일정하게 유지되며, 반복 횟수는 수렴에 따라 적응적으로 결정됩니다. 실험적으로 Attractor Models는 대규모 언어 모델 사전 학습과 소형 모델을 이용한 추론 모두에서 기존의 표준 Transformer 및 루프 구조를 능가하는 성능을 보여주었습니다. 특히, 작은 규모임에도 불구하고 까다로운 추론 작업에서 높은 정확도를 달성하며, 프런티어 모델들이 실패하는 영역에서도 강력함을 입증했습니다.

핵심 포인트

• Attractor Models는 순수 피드포워드 연산의 대안으로, 반복적 정제(iterative refinement)를 가능하게 합니다.
• 암시적 미분과 고정점 계산을 통해 학습 메모리 사용량을 일정하게 유지하며 효율성을 높였습니다.
• 언어 모델링에서 표준 Transformer 대비 높은 퍼플렉시티 감소 및 다운스트림 정확도 향상을 달성했습니다.
• 소형 Attractor Model이 대규모 프런티어 모델들이 실패하는 복잡한 추론 작업(Sudoku-Extreme, Maze-Hard)에서도 뛰어난 성능을 보였습니다.
• 고정점 학습(fixed-point training)을 통해 솔버 없이도 평형 내재화(equilibrium internalization)를 구현할 수 있습니다.