Speculative Refinement: 하이브리드 자기회귀 확산 디코딩 전략 및 벤치마크 전반의 동작 분석

자기회귀 (Autoregressive, AR) 디코딩과 확산 (Diffusion) 디코딩을 결합한 생성 시스템을 어떻게 평가해야 할까요? 우리는 엔트로피 가이드 선택적 마스킹 (entropy-guided selective masking)을 사용하여 AR 초안으로부터 마스크된 확산 언어 모델 (masked diffusion language model)을 웜스타트 (warm-starts)하는 훈련이 필요 없는 하이브리드 방식인 Speculative Refinement (SpecRef)를 통해 이 문제를 연구합니다. 세 가지 뚜렷한 평가 프로토콜 (실행 기반 pass@1, 완전 일치 (exact-match), 로그 가능도 점수화 (log-likelihood scoring))을 사용하여 6개의 벤치마크 (HumanEval, MBPP, GSM8K, BBH, ARC-Challenge, HellaSwag) 전반에서 SpecRef를 평가한 결과, 우리의 특정 시스템을 넘어 관련 있는 몇 가지 발견 사항을 도출했습니다: (1) 코드 벤치마크는 구조적 발견과 논리적 정확성을 혼동합니다: 모델을 변경하지 않고도 구문적 스캐폴드 (syntactic scaffold)를 제공하는 것만으로 정확도가 0%에 가까운 수준에서 20% 이상으로 상승하며, 이는 베이스라인 실패의 상당 부분이 구조적임을 나타냅니다; (2) 다단계 수정이 이미 올바른 토큰을 저하시키는 '정제 긴장 (refinement tension)' 현상이 나타나며, 이는 단일 모델 평가에서는 보이지 않는 벤치마크 포화 한계 (benchmark saturation ceilings)를 드러냅니다; (3) 로그 가능도 (log-likelihood)와 생성 평가 (generative evaluation)는 동일한 모델 쌍에 대해 서로 다른 모델 순위를 생성하며, 이는 두 방식이 서로 다른 능력을 측정함을 시사합니다; (4) 표준 Python 후처리 (post-processing)는 비-AR 생성기 (non-AR generators)에 대한 코드 평가를 조용히 망가뜨립니다. 이러한 관찰 결과는 모든 다단계 또는 비-자기회귀 (non-autoregressive) 생성 파이프라인에 적용되며, 더욱 진단적인 평가 관행을 향한 방향을 제시합니다.