확률적 Tiny Recursive Model (Probabilistic Tiny Recursive Model)

요약

Tiny Recursive Models(TRM)의 결정론적 재귀로 인한 하위 솔루션 수렴 문제를 해결하기 위해, 각 재귀 단계에 가우시안 노이즈를 주입하는 Probabilistic TRM(PTRM) 프레임워크를 제안합니다. PTRM은 별도의 재학습 없이도 확률적 탐색을 통해 다양한 솔루션을 탐색하며, 매우 적은 파라미터로도 거대 언어 모델(LLMs)을 능가하는 높은 정확도를 달성합니다.

핵심 포인트

• TRM의 결정론적 재귀가 가진 최적해 미도달 문제를 확률적 탐색으로 해결
• 각 재귀 단계에 가우시안 노이즈를 주입하여 다양한 솔루션 분지를 탐색하는 과제 불가지론적 프레임워크 제안
• Sudoku-Extreme 및 Pencil Puzzle Bench 등 주요 벤치마크에서 비약적인 정확도 향상 입증
• 7M 파라미터만으로 frontier LLMs 대비 극도로 낮은 비용으로 압도적인 성능 구현