메타 단계 디코딩(Meta-Step Decoding)을 통한 검증기 유도 코드 번역

테스트 시간 스케일링 (Test-time scaling)은 대규모 언어 모델 (LLM)을 개선하는 데 있어 중요한 메커니즘이며, 특히 결정론적 검증기 (deterministic verifiers)가 존재하는 작업에서 더욱 그러합니다. 코드 번역은 대표적인 사례입니다. 소스 프로그램이 유효한 출력을 제한하는 한편, 컴파일러 (compilers), 타입 검사기 (type checkers), 그리고 동작 검사 (behavioral checks)가 정확한 통과/실패 (pass/fail) 피드백을 제공하기 때문입니다. 기존 방식들은 일반적으로 생성 후에만 이러한 검증기들을 적용하는데, 이는 초기 오류가 자기회귀적 문맥 (autoregressive context)을 오염시키고 나중에 수정되는 경우가 드물기 때문에 비효율적입니다. 우리는 구조적 경계 (structural boundaries)를 검증기 유도 디코딩 (verifier-guided decoding)을 위한 메타 단계 (meta steps)로 취급하는 프레임워크인 디코딩 시간 검증 (Decoding Time Verification, DTV)을 소개합니다. DTV는 유효한 접두사 (prefixes)를 강제하는 상태 머신 컨트롤러 (state-machine controller) 하에서 생성과 검증기 호출을 교차시킵니다. 이는 구조적 경계 검사 (structural-boundary checks)와 구조 인식 롤백 (structure-aware rollback)을 사용하여 토큰 낭비를 줄이면서 오류 전파를 방지합니다. 우리는 C-to-Rust 및 JavaScript-to-TypeScript 번역에서 DTV를 평가했습니다. 동일한 토큰 예산 하에서 Qwen3-4B를 주요 생성기로 사용했을 때, DTV는 매칭된 자기 개선 (self-refinement) 베이스라인 대비 C-to-Rust에서는 통과율을 72.3%에서 82.0%로, JavaScript-to-TypeScript에서는 33.3%에서 46.0%로 개선했으며, 사례당 더 적은 토큰을 사용했습니다. 이러한 경향은 Gemma-4-E4B에도 대부분 전이되었습니다. 평가된 비용 매칭 그리드 (cost-matched grid)에서 DTV는 사후 검증 (post-hoc verification) 또는 샘플링 기반 스케일링 (sampling-based scaling)보다 더 유리한 통과율-비용 트레이드오프 (pass-rate-cost tradeoff)를 달성합니다. 이러한 결과는 검증기 유도 디코딩이 코드 번역을 위한 추론 시간 연산 (inference-time compute)의 효과적인 활용임을 보여줍니다.