CausalOPD: 인과적 연쇄 추론 증류를 위한 첫 번째 잘못된 단계 감독 (First-Wrong-Step Supervision)

원문 발행 2026. 08. 04. 22:49원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

CausalOPD는 LLM의 인과적 추론 능력을 로컬 모델로 전이하기 위한 새로운 프로세스 증류 프레임워크입니다. 학생 모델이 생성한 추론 과정 중 '첫 번째 잘못된 단계'를 식별하고 강화학습으로 이를 교정하여 추론의 정확도와 신뢰성을 높입니다.

핵심 포인트

인과적 연쇄 추론 중 발생하는 초기 오류 전파 문제 해결
첫 번째 잘못된 단계(First-Wrong-Step) 식별 및 국소적 복구 메커니즘
커리큘럼 기반의 단계별 오류 학습(증거→메커니즘→결론) 도입
기존 시퀀스 수준 증류 대비 경로 정확도 23.4%p 향상
8B 규모의 소형 모델로 상용 모델 수준의 추론 성능 달성

임상 진단, 법적 판단, 산업적 결함 진단을 포함한 많은 중요한 추론 작업은 단계 의존적인 인과 연쇄 (causal chains)를 필요로 하며, 이 과정에서 초기 오류가 전파되거나 올바른 결론이 잘못된 추론을 가릴 수 있습니다. 대규모 언어 모델 (LLM)은 이러한 작업에서 뛰어난 성능을 보이지만, 개인정보 보호, 지연 시간 (latency), 제어 가능성 문제로 인해 로컬에 배포 가능한 모델로의 증류 (distillation)가 필요합니다. 표준적인 궤적 모방 (trajectory imitation) 방식은 학생 모델 (student model) 자체의 롤아웃 분포 (rollout distribution)에서 발생하는 프로세스 오류를 수정하지 못합니다. 우리는 커리큘럼 기반 온라인 프로세스 증류 프레임워크인 CausalOPD를 제안합니다. 지식 증강 교사 (knowledge-augmented teacher) 모델은 먼저 도메인 특화 인과 규칙 (causal rules), 엔티티 관계 (entity relations), 구조적 제약 조건 (structural constraints)에 기반한 궤적을 제공합니다. 그 후 학생 모델이 온-폴리시 (on-policy) 궤적을 생성하면, 교사 모델은 가용한 제약 조건을 명백히 위반하는 가장 이른 전이 (transition)로 정의되는 '첫 번째 잘못된 단계 (first wrong step)'를 식별합니다. 검증된 접두사 (prefix)로부터 시작하여, 단기 지평 강화학습 (short-horizon reinforcement learning)이 이 국소적인 실패를 복구합니다. 인과 단계 커리큘럼 (causal-stage curriculum)은 오류의 전파 순서에 따라 증거 수준 (evidence-level)에서 메커니즘 수준 (mechanism-level), 그리고 결론 수준 (conclusion-level) 오류로 발전합니다. 세 가지 도메인에 걸쳐 CausalOPD는 시퀀스 수준 (sequence-level) 온라인 프로세스 증류 대비 평균 경로 정확도 (path correctness)를 23.4%포인트 향상시켰으며, '정답 라벨-오답 추론 (right-label-wrong-reasoning)' 비율을 15.7%에서 4.4%로 감소시켰습니다. 또한 도메인 특화된 8B 학생 모델은 모든 도메인에서 경로 정확도 측면에서 평가된 두 가지 상용 참조 모델 (proprietary references)을 모두 능가했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

CausalOPD: 인과적 연쇄 추론 증류를 위한 첫 번째 잘못된 단계 감독 (First-Wrong-Step Supervision)

요약

핵심 포인트

댓글