추론 경로 접두사의 컨포멀 인증 (Conformal Certification of Reasoning Trace Prefixes)
요약
언어 모델의 추론 과정 중 오류가 발생하기 전까지의 유효한 중간 단계(접두사)를 통계적으로 보증하는 CROP 방법론을 제안합니다. 기존의 전체 응답 인증 방식과 달리, 단계별 위험 프록시를 활용해 안전한 추론 경로의 길이를 엄격하게 제어합니다.
핵심 포인트
- CROP: 검증기 불가지론적 교정 절차를 통한 깨끗한 접두사 인증
- 단계별 위험 프록시를 활용해 오류 없는 최장 연속 접두사 반환
- 교환 가능성 가정 하에 인증된 접두사의 오류 확률을 엄격히 제어
- 기존 AUROC 지표의 한계를 지적하며 인증된 접두사 길이의 중요성 강조
- 프로세스 감독, 기권, 수리 과정을 잇는 실용적 가교 역할
언어 모델 (Language model)의 추론 경로 (reasoning traces)는 흔히 전부 아니면 전무 (all-or-nothing)인 경우가 드뭅니다. 즉, 결정적인 오류가 발생하기 전까지 유효한 중간 단계들을 빈번하게 포함합니다. 기존의 불확실성 정량화 (uncertainty quantification) 방법들은 일반적으로 최종 답변이나 전체 응답을 인증하며, 순차적 경로 중 안전하게 유지될 수 있는 비율에 대한 통계적 보증 (statistical guarantees)을 제공하지 못합니다. 이를 해결하기 위해, 우리는 깨끗한 접두사 인증 (clean-prefix certification)을 위한 검증기 불가지론적 (verifier-agnostic) 교정 절차인 CROP (Conformal Reasoning Output Prefixes)를 소개합니다. 어떠한 단계별 위험 프록시 (step-level risk proxy)가 주어지더라도, CROP는 교정된 임계값 (calibrated threshold)을 선택하고 단계별 위험 프록시가 해당 임계값 미만으로 유지되는 가장 긴 연속된 접두사를 반환하며, 인증되지 않은 접미사 (suffix)는 후속 검토나 수리 (repair)를 위해 전달합니다. 교환 가능성 (exchangeability)을 가정할 때, CROP는 반환된 접두사에 주석 처리된 오류가 포함될 주변 확률 (marginal probability)을 엄격하게 제어합니다. 프로세스 레이블이 지정된 6개의 추론 데이터셋을 통해, 우리는 AUROC와 같은 표준 단계별 지표가 접두사 유용성 (prefix utility)을 완전히 포착하지 못함을 입증하며, 이는 검증기 (verifiers)가 대신 인증된 접두사 길이 (certified prefix length)에 의해 평가되어야 함을 시사합니다. 나아가, CROP는 과도한 보유 (over-withholding)와 과소 보유 (under-withholding) 사이의 균형을 맞추어, 오도하는 접미사는 버리면서 유효한 중간 추론은 보존함으로써 후속 수리 정확도를 향상시킵니다. 궁극적으로, 본 연구는 접두사 인증을 프로세스 감독 (process supervision), 기권 (abstention), 그리고 수리 (repair) 사이의 엄격하고 실용적인 가교로 자리매김합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기