오류 국지화를 통한 테스트 시간 스케일링 (Test-Time Scaling via Error Localization)
요약
LLM의 추론 성능을 높이기 위해 토큰 수준의 오류를 식별하고 유효한 추론 과정을 재사용하는 TTEL 알고리즘을 제안합니다. 기존의 독립적 샘플링 방식보다 계산 효율성을 극대화하며, 코딩 및 수학 벤치마크에서 뛰어난 성능을 입증했습니다.
핵심 포인트
- 토큰 수준의 오류 국지화를 통해 유효한 추론 접두사를 재사용함
- 독립적 샘플링 대비 생성 토큰 비용을 획기적으로 절감
- LiveCodeBench 및 수학 벤치마크에서 기존 베이스라인을 능가하는 성능 달성
- 추론 시간 계산(Inference-time computation)의 효율적 확장 방법론 제시
추론 시간 계산 (inference-time computation)을 확장하는 것은 복잡한 추론 및 프로그래밍 작업에서 대규모 언어 모델 (LLM)의 성능을 향상시키는 신뢰할 수 있는 방법으로 부상했습니다. 그러나 독립적 샘플링 (independent sampling) 및 순차적 다회차 정제 (sequential multi-turn refinement)와 같은 표준 접근 방식은 토큰 수준의 신용 할당 (token-level credit assignment) 없이 작동하며, 이로 인해 유효한 추론 접두사 (reasoning prefixes)가 빈번하게 폐기되어 계산 효율성이 저하됩니다. 본 연구에서는 고정된 피드백 또는 환경 피드백을 활용하여 토큰 수준의 오류 국지화 (error localization)를 수행하는 추론 시간 알고리즘인 오류 국지화를 통한 테스트 시간 스케일링 (Test-Time Scaling via Error Localization, TTEL)을 소개합니다. TTEL은 정보가 포함된 피드백 하에서의 조건부 확률을 null-context 베이스라인과 비교함으로써 오류가 발생한 단계를 격리합니다. 그런 다음 알고리즘은 궤적 (trajectory)을 절단하고 새로운 생성을 분기하여 유효한 접두사를 최대한 재사용합니다. 광범위한 평가를 통해 TTEL은 pass-at-k 대 생성된 토큰 비용 (generated-token cost)으로 측정했을 때, 순차적 추론 도메인 전반에서 엄격하게 지배적인 파레토 프런티어 (Pareto frontiers)를 구축함을 입증했습니다. LiveCodeBench에서 Qwen3-8B를 사용했을 때, TTEL은 독립적 샘플링 (independent sampling)보다 약 절반의 토큰만을 생성하면서도 (360.4k 대 735.0k) 71.0%의 pass@64를 달성했습니다. 수학 벤치마크인 AIME-2025 및 HMMT-2025로 일반화했을 때, TTEL은 Qwen3-8B와 Qwen3-4B-Thinking-2507 모두에서 경쟁하는 테스트 시간 베이스라인들을 명확하게 능가합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기