'정답'이 반드시 학습할 수 있는 해는 아니다──FPRT가 학생의 오류 패턴 진단을 통해 추론 증류 데이터를 재구성하는 메커니즘
TL;DR
강력한 교사 모델(teacher model)의 추론 궤적을 사용하여 작은 학생 모델(student model)을 SFT(Supervised Fine-Tuning)합니다. 수학 추론 능력 전이 측면에서는 거의 표준화된 이 기법에는, 오래되었지만 새로운 문제가 따릅니다. 학생은 교사의 출력 분포에 과도하게 적합(overfit)하여, 추론 시 자신의 행동이 훈련 분포에서 벗어나는 순간 회복할 방법이 없습니다. 수학 추론에서는 각 단계가 모든 선행 단계에 의존하기 때문에, 한 번의 실패가 이후 전체 사슬을 무효화시킵니다. 오류를 훈련 과정에 통합하는 최근 기법(LEMMA 등)조차도, 수정된 궤적 자체는 여전히 교사의 추론 스타일을 반영하고 있어 학생이 재현할 수 없습니다.
중남대학교의 Zhu・Wang・Shen은 NeurIPS 2026에서 발표한 FPRT(Failure Profiling and Reachable Trajectory Selection)의 출발점을 이 문제를 '데이터 선택 방식'부터 다시 시작하는 것입니다. 효과적인 훈련 데이터는 학생이 무엇에 실패할지, 그리고 학생이 현실적으로 배울 수 있는지를 모두 고려하여 결정됩니다. 즉, 문제별로 두 가지 조건을 진단한 후 교사에게 후보를 생성하게 하고, 학생 자신의 확률 분포를 통해 그중 하나를 선택합니다.
파이프라인은 3단계로 요약할 수 있습니다.
행동적 오류 프로파일링(Behavioral Error Profiling): 문제별로 학생으로부터 K=5회 샘플링하여, 오답률 $\alpha$와 오답 일관성 $\kappa$의 두 통계량으로 실패 모드를 3가지 유형(stubborn / inconsistent / sporadic)으로 분류합니다.
적응적 수정 생성(Adaptive Correction Generation): 진단된 모드에 따라 프롬프트를 전환하고, 교사에게 5개의 수정 후보(반성 r・유지 전제 p・수정 계속 c의 3부 구성)를 일괄적으로 생성하게 합니다.
분기점 도달 가능성(Branching Point Reachability, BPR) 스코어링: 학생이 처음에 잘못된 단계(분기점) 직후의 첫 8문장만을 기준으로 한 학생 로그 확률을 평균하여, 가장 재현하기 쉬운 후보를 선택합니다.
결과의 핵심 요약 (GSM8K・MATH + OOD 3종 5개 벤치마크 평균)은 다음과 같습니다.
Llama-3.1-8B의 경우 79.7점 (기존 최고 성능인 LEMMA 대비 +2.4pt), DeepSeek-Math-7B의 경우 80.6점 (+1.8pt). 두 백본(backbone) 모두에서 최고 평균을 기록했습니다. 이득은 OOD 쪽에 집중되어 있습니다 (LEMMA 대비 +3.0/+3.6pt, MAWPS에서 +4.4/+3.6pt). MATH에서는 오히려 -2.6/-1.8pt로 양보하는 솔직한 결과입니다.
훈련 예시 62.74K──SFT 기준선인 394.99K의 **$\frac{1}{6}$**에 불과하지만, 모든 비교 기법을 능가합니다. 제거 실험(Ablation study)에서는 프로파일링 제거 시 -6.1pt, BPR 제거 시 -1.7pt를 기록했습니다.
'어떤 방식으로 질문하는지'가 핵심이며, BPR은 그 위에 얹는 마무리 단계입니다.
'어떤 정답을 가르칠 것인가'를 결정하는 것은 교사의 정확성이 아니라, 학생의 오류 방식과 학생의 확률 분포입니다. 이 시점의 관점 전환이 본 논문의 핵심입니다.
- 논문: Failure Profiling and Reachable Trajectory Selection for Reasoning Distillation (arXiv:2611.09042, 2026년 11월 6일, NeurIPS 2026 채택)
- 저자: Yijun Zhu・Jianxin Wang・Chengchao Shen (중남대학교)
- 코드: github.com/visresearch/FPRT
- 대상: 교사 DeepSeek-V3.2, 학생 Llama-3.1-8B-Instruct / DeepSeek-Math-7B-Instruct, 원본 데이터 MetaMathQA
배경: 정답만 가르치는 증류의 한계
수학 추론 증류에는 구조적인 문제가 있습니다. 교사의 정답 궤적만을 학습한 학생은, 추론 과정이 훈련 데이터 스타일에서 벗어나는 순간 스스로 궤도로 돌아오는 방법을 알지 못합니다. 게다가 수학에서는 하나의 오류 단계가 이후 모든 것을 망치기 때문에, 이러한 취약성은 다른 태스크보다 훨씬 높습니다.
이에 '오류도 가르쳐야 한다'는 흐름이 생겨났습니다. LEMMA는 오답과 수정의 쌍을, Self-Correct는 최소 편집(minimum edit)을 통한 수정을, MCTS 계열 기법은 추론 트리 상의 오류 노드 탐색을 제안해 왔습니다. 확실히 진전된 부분이지만, 저자들은 이것들이 두 가지 한계를 공유한다고 지적합니다.
첫째, 학생 실패의 '오류 방식'을 조건화하지 않습니다. 같은 방식으로 틀리더라도, 5회 샘플링하여 매번 똑같은 오답에 도달한다면 그것은 강력하지만 잘못된 추론 패턴이 고정되어 있다는 의미입니다. 반대로 매번 다른 오답이 나온다면 안정적인 풀이 전략 자체가 존재하지 않는다는 뜻입니다. 이 두 가지가 요구하는 교정은 질적으로 다르지만, 기존 기법들은 일률적인 수정 전략을 적용합니다.
둘째로, 실패하는 방식이 올바르게 분류된다 하더라도, 수정 궤적(correction trajectory)이 교사에게 의존한다면 학생은 재현할 수 없다. 지식 전송 연구에서는 교사와 학생의 용량 격차(capacity gap)가 커질수록 이러한 비재현성(non-reproducibility)이 악화된다는 것이 알려져 있다. 즉, 수정 데이터 자체는 '정확'하지만, 학습이 피상적인 패턴 일치에 머무르게 된다.
저자들은 여기서 목적 함수 그 자체를 재작성한다. 우리가 원하는 것은 정확한 궤적이 아니라, 정확하면서도 학생에게 도달 가능(reachable)한 궤적이다. 이는 학생의 분포가 높은 확률 영역에 위치하며, 각 단계가 학생 스스로 작성할 수 있었을 법한 궤적이다. 이상적으로는 '정답 궤적의 집합 내에서 $\pi_S(\tau|q)$를 최대화하는 선택'이겠지만, 이는 직접적으로 해결할 수 없다. FPRT는 이 이상적인 목표를 '생성(generate)한 후 선택(select)'하는 2단계 접근 방식으로 근사한다.
방법: 진단하고, 구별하며, 도달 가능한 것을 선택하기
Stage 1: 행동적 오류 프로파일링 (Behavioral Error Profiling)
MetaMathQA의 394.99K 문제 각각에 대해 학생에게 K=5회 추론을 샘플링한다. 이를 통해 두 가지 통계량을 계산한다.
- 오답률 $\alpha(q)$: 샘플 중 오답이었던 비율
- 오답 일관성 $\kappa(q)$: 오답 중에서 가장 빈번한 오답이 차지하는 비율
이 두 축을 기준으로 문제를 세 가지 실패 모드로 나눈다. 임계값은 $\alpha_t=0.6$, $\kappa_t=0.8$이다. stubborn($\alpha \ge 0.6$ 이고 $\kappa \ge 0.8$)는 같은 오답에 고집하는 유형이다. inconsistent($\alpha \ge 0.6$ 이고 $\kappa < 0.8$)는 오답이 분산되는 유형이다. sporadic($0 < \alpha < 0.6$)는 가끔 틀리는 정도의 유형이다. 모든 샘플에서 정답인 문제($\alpha=0$)는 오류 궤적이 없으므로 파이프라인에서 제외된다.
기존의 오류 분류가 '계산 실수', '식 혼동'과 같은 의미적(semantic) 오류 유형으로 나누어 왔던 것과 달리, 이 분류는 행동 패턴으로 구분한다는 점이 새롭다. 의미적 분류는 무엇을 잘못했는지 알려주지만, 어떻게 고쳐야 하는지까지는 가르치지 못한다. 행동의 분류는 수정 방법을 직접적으로 연결시킨다.
구현상 흥미로운 점은, K=5라는 거친 샘플링이 오히려 견고성(robustness)을 만들어낸다는 것이다. $\alpha$는 {0, 0.2, 0.4, 0.6, 0.8, 1.0}의 이산값만 취하기 때문에, 임계값을 0.5로 옮겨도 분류는 100% 불변하며, 인접 셀에서도 95% 이상의 일치가 유지된다. 세밀한 조정이 필요 없는 것은 설계 자체라기보다는 이산성(discreteness)의 이점 덕분이다.
Stage 2: 적응적 수정 생성 (Adaptive Correction Generation)
진단된 모드별로 교사에게 '질문하는 방식'을 바꾼다. 후보는 모두 **반성r(reflection)・유지 전치p(preserved prefix)・수정 계속c(correction continuation)**의 3부 구성이며, 한 번의 구조화된 호출로 5개의 후보를 얻는다.
- stubborn (고집형): 잘못된 추론 경로를 다각적으로 공격한다. 직접 수정・다른 풀이법・개념 재정식화 등 다른 각도에서 5개의 후보를 생성하고, 트랩 분석・개념 전환・수정・재발 방지 점검을 1인칭의 반성r에 응축시킨다.
- inconsistent (불일치형): 오답이 분산되어 있는 것은 안정적인 문제 해결 전략의 부재 신호이다. 방정식을 세우기・단계적으로 계산하기・역방향으로 풀기 등 다른 **문제 해결 프레임워크(problem solving framework)**를 제공한다.
- sporadic (우발형): 기술은 이미 갖추고 있다. 학생의 올바른 전치p를 최대한 유지하고, 오류 지점만 최소한으로 수정한다.
유지 전치p는 학생의 오류 궤적 중 첫 번째 오류까지의 구어(逐語) 부분이며, 이때 첫 번째 오류 단계가 분기점이 된다. 전치가 유지되지 않는 경우에는 공백 처리되며, 수정 계속c는 처음부터 작성된다. 교사 모델에는 경계 국소화(boundary localization)와 5개 후보의 다양화를 한 번의 호출로 겸임시킨다. 참고로, 이 경계 국소화 감사에서는 정확도가 88%에 달했으며, 질문을 의도적으로 벗어나게 해도 평균 정확도는 80.0에서 79.7 정도로 크게 변하지 않는다. 파이프라인의 다른 부분만큼 까다롭지 않다.
Stage 3: 분기점 도달 가능성 스코어링 (Branch Point Reachability Scoring)
5개의 후보 중 최종 답안이 올바른 것만 남기고, 다음 기준에 따라 하나를 선택한다.
수정 계속c의 처음 8문에 해당하는 창(window) W 내에서 학생의 평균 로그 확률이다. 기울기 계산 없이 forward pass를 한 번으로 끝낼 수 있다.
왜 '첫 몇 문장'만인가? 저자들은 200개의 학습 예제(training examples)에 대한 토큰별 log 확률을 측정하여 명확한 패턴을 확인했습니다. 유지 전치어(prefix) p는 학생 자신의 출력물이므로 평균 -0.85 정도의 높은 확률을 보입니다. 그런데 분기점(branching point)을 지난 직후에는 약 -3.5까지 급락하며, 약 25개의 토큰에서 회복됩니다. 즉, 수정이 계속되는 후반부는 '이미 수정된 문맥'에 조건화된 고확률 토큰으로 구성되어 있어 어떤 후보에서도 높은 점수를 얻게 됩니다. 전체를 평균하는 일반적인 리랭킹(re-ranking)은 이 긴 꼬리 부분에 신호를 희석시킵니다. 차이가 나타나는 것은 학생이 오류에서 벗어나는 '첫 번째 전이'뿐입니다.
창 너비 L의 스와핑(sweeping)이 이 주장을 뒷받침합니다. L=2일 때 77.1, L=4일 때 76.7로 너무 짧으면 판별력이 부족하고, L=8에서 79.0의 정점을 찍고, L=16에서 78.6, L=32에서 78.2를 거쳐 전 범위(전체 스코어링)에서는 77.3으로 넓힐수록 단조롭게 떨어집니다. 또한 평균값(|W|로 나눔)을 취함으로써 짧은 후보를 체계적으로 유리하게 만드는 길이 페널티도 회피했습니다.
마지막으로 학습 데이터의 구성입니다. 각 문제에서 최대 1개의 궤적(trajectory)을 선택하여, 90%는 '오류 궤적이 포함된 문제 q⊕τ_rep → 반성 및 수정 r⊕p⊕c' 쌍의 형태로, 10%는 '문제 q만 → 수정 완료 완전해 p⊕c' 단독 형식으로 SFT(Supervised Fine-Tuning)를 진행합니다.
실험 결과
주요 결과: 두 백본(backbone) 모두 최고 평균 달성, 이득은 OOD에 집중
5개 벤치마크(GSM8K・MATH + OOD의 SVAMP・ASDiv・MAWPS)의 평균에서 FPRT는 Llama-3.1-8B로 79.7±0.4, DeepSeek-Math-7B로 80.6±0.3 (3 시드 평균)을 기록했습니다. 이는 각각 LEMMA보다 +2.4pt, +1.8pt 높은 수치입니다.
세부 내역을 살펴보면, 이득의 원천은 OOD(Out-of-Distribution) 쪽에 있습니다. OOD 3종의 평균은 LEMMA 대비 +3.0/+2.6pt이며, 특히 MAWPS에서 각각 +4.4/+3.6pt를 기록했습니다. 반면 MATH에서는 LEMMA에 -2.6/-1.8pt로 뒤처집니다. 저자들은 이 점을 숨기지 않고, (a) LEMMA의 오류 유형 주석 기반 확장이 MATH의 난제에 적합한 교사(teacher)를 제공했거나, (b) 정답 필터가 난제에서 후보군을 너무 많이 좁혔다는 두 가지 가설을 제시하며 '현재 결과로는 구분이 불가능하다'고 명시했습니다.
샘플 효율 및 통제 실험
1차 패스 코퍼스(Llama 62.74K / DeepSeek 65.76K)는 SFT 기준선인 394.99K의 약 6분의 1, LEMMA 규모의 7할 수준이지만, 이 시점에서 이미 평균 79.0/80.0으로 모든 비교 기법을 능가했습니다. 2차 패스를 추가한 88.90K(LEMMA와 동규모)에서는 격차가 더욱 벌어집니다. 데이터 예산을 동일하게 맞춰도 우위는 무너지지 않았습니다.
동일 문제 세트에서의 통제 실험 역시 유효합니다. 교사에게 문제만 주고 정답 궤적을 SFT하면 75.9/78.1을 기록하며, FPRT의 완전 파이프라인은 +3.1/+1.9pt를 상회했습니다. 또한, 동일 후보군에서 무작위로 하나를 선택할 경우 76.6/79.0, BPR(Beam Probability Ranking) 선택 시에는 79.0/80.0을 기록했습니다. 후보 생성 방식과 선택 방식 모두가 효과적임이 드러납니다.
소거 실험: 주역은 프로파일링, BPR은 마무리
Llama의 1차 패스 구성에서의 소거 실험(Ablation)은 유효성의 구조를 명확히 보여줍니다.
- 완전 버전: 79.0
- 프로파일링 없음 (모든 오류에 일률적인 최소 수정 프롬프트 적용): 72.9 (-6.1pt, GSM8K에서 -8.0pt). BPR 미사용 (전체 log 확률로 선택): 77.3 (-1.7pt)
- 둘 다 없음: 72.4
즉, 이득의 대부분은 모드별 '경청 방식'(profiling)이 만들어내고, BPR은 그것이 준비한 후보군 위에서 1.7pt를 추가합니다. BPR 단독(uniform+global과의 차이)만으로는 0.5pt밖에 되지 않아, 후보 구축 없이는 선택 효과도 미미해짐을 알 수 있습니다. 두 구성 요소는 상호 보완적이라는 것이 저자들의 해석입니다.
학습 후 학생은 어떻게 행동하는가
88.90K로 학습한 학생의 테스트 출력 1,500건을 감사(audit)한 결과, Llama의 90.5%와 DeepSeek의 95.3%는 명시적인 수정이 포함되지 않은 '직접 해법'으로 구성되어 있었고, 그 정확도는 81.9/82.1%였습니다. 오류를 되돌아보는 '반성형' 출력은 각각 9.5%/4.7%에 불과했으며, 그 정확도는 33.1/35.7%로 낮았습니다. 수정하는 방법을 가르쳤음에도 불구하고, 추론 시에는 문제만 입력된 상태와 순순히 양립하고 있습니다. 교사를 DeepSeek-V4-Flash로 변경하자 80.6에서 81.0으로 더욱 향상되었습니다.
고찰
'옳은 것'과 '도달하는 것'의 분해
학생의 확률로 데이터를 선택한다는 발상은 GRAPE(목표 모델의 정규화 확률로 선택)나 Local Naturalness(세그먼트 단위의 학생 우도(likelihood)로 순위 매기기), Rank-Surprisal Ratio 등 선행 연구가 있습니다. FPRT가 새로운 점은 스코어를 분기점 직후의 국소 창(local window)에 제한했다는 것입니다. '후보들 간의 차이가 발생하는 것은 첫 번째 전이에서만'이라는 실측(분기점에서 -3.5로 떨어졌다가 25 토큰 만에 회복하는 계곡)에 근거를 둔, 조작적으로 명확한 설계입니다. 전체 스코어링과의 차이는 고작 1.7점이지만, 창 폭을 스캔할 때 나타나는 비대칭적인 곡선(짧든 길든 악화)은 이 설계의 타당성을 잘 보여줍니다.
데이터 구축의 가장 큰 레버는 '질문하는 방식'
소거법(Ablation)이 가르쳐주는 또 다른 교훈은, 후보를 생성하는 단계에서 어떻게 질문하느냐가 그 이후의 선택 단계보다 훨씬 크게 작용한다는 것입니다. -6.1점 대 -1.7점이라는 차이는, 데이터 구축의 방향성을 결정하는 것이 프로파일링(profiling)임을 의미합니다. '오류 방식을 진단한 후에 교사에게 질문하기'라는 한 단계가 60% 이상의 이득을 담당하고 있습니다. 증류 데이터의 질을 교사의 성능으로 설명하려는 기존 논의와 달리, 학생 측의 실패 구조가 데이터의 질을 결정한다는 시점 전환으로 해석할 수 있습니다.
남아있는 질문
MATH에서의 열위(-2.6/-1.8점)에 대한 설명은 미해결 상태로 남겨집니다. 어려운 문제에서는 학생에게 도달하는 후보 자체가 적을 가능성(정답 필터의 통과율)과, 오류 유형을 명시적으로 제시하는 교사(LEMMA 방식)가 어려운 문제에 효과적일 가능성은 본 실험에서 분리되어 검증되지 않았습니다. '도달 가능성으로 선택한다'는 기준이 정확성의 상한선과 맞바꾸어지는 장면이 있는가—이는 범용 증류 설계에 있어 본질적인 질문일 것입니다.
또한 K=5라는 거친 프로파일링 해상도는 비용과의 트레이드오프가 있습니다. $\alpha$의 이산값이 6가지밖에 없다는 것은 임계값(threshold)에 대한 강건성으로는 작용하지만, 모드의 경계 근처에 있는 문제의 진단 정확도를 제한합니다. 저자들 스스로 한계로 명시하고 있으며, K 값 증감에 따른 체계적인 검토는 향후 과제입니다.
관련 연구
오류 데이터 구축 계열에서는 LeMa, LEMMA, Tong 등이 오해와 수정 쌍(pair) 또는 오류 유형 주석을 도입했고, TrajFusion은 오류 궤적과 반성 및 정답 궤적을 번갈아 배치합니다. 다만 이들 모두 오류를 균일하게 다루며, 수정 궤적은 교사 흐름 그대로입니다. FPRT는 행동 프로파일링으로 모드를 나누고, BPR로 학생에게 도달하는 것을 선택한다는 점에서 차이가 있습니다.
분포 불일치 대응 계열에서는 GKD가 학생 자체 생성 시퀀스에 교사 피드백을 주고, Speculative Knowledge Distillation이 학생과 교사의 샘플링을 번갈아 배치하며, UNDO는 학생의 오류를 노린 근거 생성을 반복합니다. 온정책(On-policy) 계열이 학생의 궤적에 의존하는 반면, FPRT는 고정된 학생 분포를 '선택의 자(物差し)'로만 사용한다는 점에서 다릅니다.
데이터 선택 계열에서는 앞서 언급한 GRAPE, Local Naturalness, Rank-Surprisal Ratio가 학생 확률을 다루지만, 궤적 전체를 스코어링합니다. BPR은 분기점 직후의 국소 창에 제한했다는 점에서 차별화됩니다. 또한 SCoRe는 오프라인 수정 궤적으로의 SFT(Supervised Fine-Tuning)가 분포 불일치로 실패할 수 있다고 지적했지만, FPRT는 도달 가능성 필터라는 형태로 이 실패를 완화하는 것을 SFT 그대로 시도하고 있습니다.
본 블로그에서도 증류 관련 논문들을 몇 개 읽어보았습니다. AMPLE-Math는 증류의 개선을 '성공'과 '유용'으로 구분했고, OPRD는 리마인더를 행동으로 바꾸는 가중치 내재화를 다루었으며, RISE는 RLVR의 훈련 궤적에서 외삽 교사를 자체 구축하는 흐름을 다뤘습니다. FPRT는 이 계보에 '질문 방식을 오류 방식으로 변경'이라는 데이터 구축의 새로운 축을 더합니다. 후보 풀의 O2PD가 'prefix의 처음 20%만 교사 감독이 신뢰할 수 있다'고 보고한 것도, '초반 부분이 효과적이다'라는 본 논문의 지견과 공명합니다.
요약
FPRT는 추론 증류의 데이터 구축을, 교사가 정답을 작성하는 작업에서 학생의 실패를 진단하여 학생에게 도달할 수 있는 해를 선택하는 작업으로 재정의했습니다. $\alpha \times \kappa$의 2가지 통계량에 의한 실패 모드 진단, 모드별 프롬프트를 통한 후보 생성, 분기점 직후 8개 문장의 학생 로그 확률에 의한 선택—이 모든 것이 소박한 부품들이지만, '무엇에 실패했고, 무엇을 배울 수 있는가'라는 질문으로 관통되어 있습니다.
NeurIPS 2026에서 채택되었고 코드와 훈련된 가중치도 공개되었습니다. 1/6의 데이터로 기존 기법을 능가하는 샘플 효율은, 대규모 교사의 궤적을 단순히 증류하던 시대가 끝나가고 있음을 보여주는 하나의 증거일 것입니다. 다음에 읽어야 할 것은, 이 '도달 용이성'이라는 기준이 수학 외의 영역—예를 들어 장문맥 추론이나 코드 생성—에서 어떻게 일반화될 수 있는지입니다.
- 추론 증류를 위한 실패 프로파일링 및 도달 가능한 궤적 선택 (Failure Profiling and Reachable Trajectory Selection for Reasoning Distillation) (arXiv:2611.09042)
- FPRT 공식 코드 (GitHub)
- LEMMA: Pan et al., "LLM의 수학적 발전을 위한 오류 학습" (Learning from Errors for MatheMatical Advancement in LLMs), ACL 2025 Findings
- SCoRe: Kumar et al., "강화학습 (RL)을 통한 언어 모델의 자체 교정 훈련" (Training Language Models to Self-Correct via Reinforcement Learning), ICLR 2025
- GKD: Agarwal et al., "언어 모델의 온-정책 증류" (On-Policy Distillation of Language Models), ICLR 2024
- GRAPE: Zhang et al., "최적의 명령어 튜닝 데이터는 적합한 데이터이다" (The Best Instruction-Tuning Data Are Those That Fit), 2025
- MetaMathQA: Yu et al., "대규모 언어 모델을 위한 자체 수학 문제 부트스트랩" (MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models), ICLR 2024
논의 (Discussion)
