Flow Reasoning Models: 반복적 자기 개선(Iterative Self-Refinement)을 통한 추론 스케일링

요약

이산 흐름 모델(Discrete flow models)의 구조적 추론 능력을 향상시키기 위한 Flow Reasoning Models(FRMs) 프레임워크를 제안합니다. 반복적인 자기 개선과 테스트 시간 스케일링을 통해 Sudoku 및 Zebra 퍼즐에서 높은 해결률과 일반화 성능을 달성했습니다.

핵심 포인트

• 흐름 모델의 디노이징 역학을 활용한 테스트 시간 스케일링 프레임워크 제안
• 자기 조건화 채널과 직접 선호 최적화(DPO)를 통한 모델 효율성 개선
• Sudoku-Extreme 등 어려운 분포 외(OOD) 문제에서도 높은 일반화 성능 입증
• 기존 베이스라인 대비 8배 적은 순전파로 높은 정확도 달성