DREAM-R: RL 기반의 정교한 초안 작성, 정밀한 검증 및 완전 병렬 실행을 통한 멀티모달 투기적 추론 (Multimodal

최근 대규모 멀티모달 모델 (Large Multimodal Models)에서 추론 집약적인 생성 과정을 가속화하기 위한 수단으로 투기적 추론 (Speculative reasoning)이 제안되었으나, 그 효과는 투기적 초안 (Speculative drafts)과 대상 검증 추론 (Target-verified reasoning) 사이의 불일치로 인해 제한되는 경우가 많습니다. 본 연구에서는 투기적 추론의 성능을 실질적으로 향상시키는 프레임워크인 DREAM-R를 소개합니다. DREAM-R의 핵심은 투기적 정렬 정책 최적화 (Speculative Alignment Policy Optimization, SAPO)를 채택하는 것으로, 이는 초안 모델 (Draft models)이 대상 궤적 (Target trajectories)에 충실하면서도 간결한 추론 단계 (Reasoning steps)를 생성하도록 학습시키는 강화학습 (Reinforcement-learning) 목적 함수입니다. 나아가, 우리는 비율 기반 기준을 사용하여 긍정적인 증거가 명확하게 우세할 때만 투기적 단계의 수용을 안정적이고 해석 가능하게 제공함으로써 오류 전파를 방지하는 임계값 기반 검증 메커니즘 (Threshold-based Verification Mechanism, TBVM)을 제안합니다. 이러한 구성 요소들을 바탕으로, 우리는 다단계 추론에 걸쳐 초안 생성, 대상 측 추론 및 검증을 병렬화하여 조기 종료 (Early stopping)와 깔끔한 폴백 (Fallback)을 가능하게 하는 완전 병렬 투기적 추론 (Fully Parallel Speculative Reasoning, FPSR) 프레임워크를 개발합니다. 추론 중심의 벤치마크에 대한 실험 결과, 대상 모델의 정확도를 유지하면서도 최대의 속도 향상을 입증하였으며, 추론 품질을 저하시키지 않으면서 상당한 효율성 이득을 얻었습니다.