Speculative Refinement: 하이브리드 자기회귀 확산 디코딩 전략 및 벤치마크 전반의 동작 분석

요약

자기회귀(AR)와 확산(Diffusion) 디코딩을 결합한 Speculative Refinement(SpecRef) 전략을 제안하고, 다양한 벤치마크를 통해 그 성능과 평가 프로토콜을 분석한 연구입니다. 코드 벤치마크의 구조적 한계와 정제 과정에서의 성능 저하 현상 등 생성 모델 평가의 새로운 시사점을 제시합니다.

핵심 포인트

• AR 초안을 확산 모델로 웜스타트하는 훈련 불필요 하이브리드 방식 제안
• 코드 벤치마크가 구조적 발견과 논리적 정확성을 혼동하는 경향 확인
• 다단계 수정 시 이미 올바른 토큰을 저하시키는 '정제 긴장' 현상 발견
• 로그 가능도와 생성 평가 방식 간의 모델 순위 불일치 확인
• 비-자기회귀 생성기에 대한 표준 Python 후처리 평가의 문제점 지적