확률적 Tiny Recursive Model (Probabilistic Tiny Recursive Model)

Tiny Recursive Models (TRM)는 잠재 상태 (latent state)와 최종 답변을 반복적으로 정제함으로써, 현대의 거대 언어 모델 (LLMs) 파라미터의 아주 일부분만으로 복잡한 추론 과제를 해결합니다. 강력한 성능을 보여주지만, 이들의 결정론적 재귀 (deterministic recursion)는 탈출 기제 (escape mechanism)가 없을 경우 최적해가 아닌 하위 솔루션 (suboptimal solutions)으로 수렴할 수 있다는 단점이 있습니다. 일반적인 해결책은 테스트 시점에 과제 특화적인 입력 섭동 (input perturbations)을 가하고 투표를 통해 답변을 집계 (answer aggregation)하는 방식에 의존합니다. 본 논문에서는 확률적 탐색 (stochastic exploration)을 통해 이러한 한계를 해결하는, 테스트 시점 연산 확장 (test-time compute scaling)을 위한 과제 불가지론적 (task-agnostic) 프레임워크인 Probabilistic TRM (PTRM)을 소개합니다. PTRM은 각 심층 재귀 (deep recursion) 단계마다 가우시안 노이즈 (Gaussian noise)를 주입하여, 병렬 궤적 (parallel trajectories)이 다양한 솔루션 분지 (solution basins)를 탐색할 수 있도록 하며, 모델의 기존 Q 헤드 (Q head, 원본 TRM에서 조기 종료 (early stopping)에 사용됨)를 사용하여 이들 중 하나를 선택합니다. 재학습이나 과제 특화적 증강 (task-specific augmentations) 없이도, PTRM은 Sudoku-Extreme (87.4%에서 98.75%로) 및 Pencil Puzzle Bench의 다양한 퍼즐 (62.6%에서 91.2%로)을 포함한 벤치마크 전반에서 상당한 정확도 향상을 실현합니다. 후자의 경우, PTRM은 단 7M (700만) 개의 파라미터만을 사용하여 최첨단 LLMs (frontier LLMs)의 약 0.0001배 미만의 비용으로 거의 두 배에 달하는 정확도 (91.2% vs. 55.1%)를 달성합니다.