루핑(Looping)은 추론을 위한 강력한 귀납적 편향(inductive bias)입니다. 순환 블록(recurrent block)을 반복적으로 반복함으로써, 루프가 적용된 모델들은 효과적인 깊이(effective depth)를 확장하고 잠재 공간(latent space)에서 다단계 추론을 가능하게 합니다. 하지만 기존의 루핑 모델들은 명시적인 진행 측정 지표에 의해 본질적으로 안내되지 않아, 언제 루핑을 멈춰야 하는지 또는 현재 상태를 어떻게 개선해야 하는지를 판단하기 어렵습니다. 이를 가능하게 하기 위해, 우리는 잠재적 추론 상태(latent reasoning states)에 걸쳐 에너지 함수를 학습하고 루프 업데이트를 이 에너지에 대한 경사 하강법(gradient descent)으로 공식화하는 **에너지 기반 추론기(Energy-Based Reasoners, EBRs)**를 소개합니다. 에너지는 잠재 상태 점수를 매기고, 그 기울기는 개선을 안내하며, 멈추는 신호(signal for stopping)를 제공합니다. EBR을 효과적으로 훈련하기 위해, 우리는 추가적인 모드(modes)를 발견하고 더 광범위한 상태 집합에 걸쳐 에너지 지형(energy landscape)을 더 잘 형성하기 위한 탐색 기반 훈련(exploration-based training) 또한 도입했습니다. 네 가지 알고리즘적 추론 벤치마크 전반에서, EBR은 기존의 순환형 추론 모델과 동등하거나 능가하는 성능을 보여주었으며, Sudoku-Extreme에서 99.9%의 정확도를 달성하면서도 최고 성능 모델 대비 345배 적은 추론 컴퓨팅 자원을 사용했고 유사한 수준의 훈련 컴퓨팅 자원을 유지했습니다. 모든 다중 해(multi-solution) 벤치마크에서, EBR은 거의 100%에 가까운 단일 샘플 정확도를 유지하면서도 고유한 유효해(distinct valid solutions)에 대한 최신 커버리지(state-of-the-art coverage)를 달성했습니다. 이러한 결과들은 에너지 기반 모델이 강력한 추론 성능을 위한 유망한 접근 방식임을 시사합니다.
기존의 루핑 추론기는 잠재 상태를 명시적으로 평가하지 않고 업데이트합니다. EBR은 개선, 멈춤, 선택을 안내하는 에너지 함수를 학습합니다.
점수화(Score). 에너지는 추론 상태와 초기 보드 간의 호환성(compatibility)에 점수를 매깁니다. 낮을수록 더 높은 호환성을 의미합니다.
개선(Refine). 기울기는 점수를 개선 방향으로 바꿉니다.
정지(Stop). 기울기가 작아지면 상태가 정지 상태가 되므로, 이 기울기는 멈춤 기준(stopping criterion) 역할을 합니다.
선택(Select). 여러 후보 해 중에서 가장 낮은 에너지를 가진 것을 선택합니다.
올바른 해답은 낮은 에너지의 정상 상태(stationary states)에 자리 잡습니다. Sudoku-Extreme에서의 하강 과정 중 에너지, 기울기 노름(gradient norm), 그리고 스텝 크기(step size)를 살펴보았습니다. 올바른 궤적(trajectories)은 작은 기울기를 가지며 낮은 에너지로 수렴하는 반면, 잘못된 궤적은 계속 움직입니다.
더 많은 하강 단계(descent steps)를 실행하면 각 답이 더욱 정교해지며, 더 많은 궤적을 실행하는 것은 에너지가 가장 낮은 에너지의 해답을 선택할 수 있는 더 많은 후보군을 제공합니다.
EBR은 EqR의 최고 정확도를 달성하는 데 필요한 반복 횟수(iterations)를 왼쪽에서 7배 줄이고, 샘플 수를 오른쪽에서 43배 줄였습니다.
GRAM과 TRM은 GRAM의 논문에서 가져왔으며, EqR은 공개된 체크포인트(checkpoint)에서 가져왔습니다. 세 개의 시드(seeds)에 대한 평균 ± 표준편차(SD)입니다.
각 궤적은 에너지 기울기(energy gradient)가 임계값(threshold) 이하로 떨어지면 멈추므로, 쉬운 퍼즐은 몇 단계 만에 끝나고 어려운 퍼즐은 계속 진행됩니다.
| Method | # Params | Sudoku-Extreme ↑ | Maze-Hard ↑ |
|---|
| Single sample (%) | | | |
| ... | EBROurs | 1.8M | 99.4 |
| Multiple samples (%), number of samples N in parentheses | | | |
| PTRM | 5–7M | 98.8(100) | 86.7(100) |
| EqR | 5–7M | 99.8(128) | – |
| ... | EBROurs | 1.8M | 99.9(5) |
EBR은 추론 모델 중 최고의 단일 샘플 정확도를 제공합니다. 단 5번의 패스(passes) 만에 99.9%와 88.3%에 도달하며, 최대 128회까지 수행하는 방법들보다 앞섭니다. 각 궤적을 에너지 기울기가 임계값 이하로 떨어질 때 멈추게 함으로써, 고정 깊이 EBR 대비 10.9배 적은 FLOPs를 사용하면서도 99.9%의 정확도를 유지할 수 있었고, 이를 통해 EqR보다 345배 적은 FLOPs로 능가하는 성과를 거두었습니다.
EBR은 확률적 경사 하강법(stochastic gradient descent)처럼 작동하여 다양한 해답을 포착할 수 있습니다. 커버리지(Coverage)는 20개의 샘플이 찾은 각 입력의 고유한 유효 해답 비율을 나타냅니다.
| Method | N-Queens | Graph Coloring | ||
|---|---|---|---|
| 8×8 | 10×10 | 8-vertex | 10-vertex |
| ... |EBROurs | 100 | 99.5 | 0 | 0 |
| 20 samples | Cov@20 (%) ↑ | Cov@20 (%) ↑ | ||
| TRM | 22.6 | 2.0 | 22.3 | 6.8 |
| GRAM | 89.7 | 57.5 | 85.8 | 51.3 |
EBROurs | 98.1 | 92.0 | 88.6 | 54.5 |
Pass@1 (%)과 Conflicts(테스트 그래프에서 합산된 엣지 수)는 하나의 샘플을 사용합니다. Cov@20은 20개의 샘플로 찾은 고유한 유효 해답의 비율(%)입니다. 기준선(Baseline)은 GRAM 논문에서 가져왔습니다.
[참고 문헌]
Chen, William Xingxu 외 (Gladstone, Alexi; Li, Zeyu Michael; Ji, Heng; Du, Yilun). 2026년. Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model. eprint arXiv:2611.08977 [cs.LG]. URL: https://arxiv.org/abs/2611.08977