실패한 추론 흔적은 무엇이 수정 가능한지 알려준다 (단, 그것을 읽는 것만으로는 불가능하다)

사후 학습된 (post-trained) 언어 모델이 추론 문제에서 실패할 때, 일반적인 테스트 시간 확장 (test-time-scaling) 대응 방식은 추가적인 시도에 더 많은 연산 자원 (compute)을 할당하는 것이며, 이때 실패한 흔적 (failed traces)은 더 이상 아무런 역할을 하지 못합니다. 우리는 이것이 중요한 신호를 버리는 것이라고 주장합니다. 일부 실패는 운이 나쁜 샘플링 (unlucky sampling)에서 비롯되어 더 많은 롤아웃 (rollouts)이 도움이 되지만, 다른 실패들은 구조적이며 예산에 상관없이 재샘플링 (resampling)에 저항하기 때문입니다. 우리는 실패한 흔적이 회복 가능성 구조 (recoverability structure)를 인코딩한다고 제안합니다. 즉, 어떤 테스트 시간 개입 (test-time interventions)이 주어진 실패를 구조할 수 있는지에 대한 추론 시간 시그니처 (inference-time signature)를 담고 있다는 것입니다. 사용 가능한 개입의 구조로부터 도출된 세 가지 문제 수준의 궤적 특징 (trajectory features)은, 실패한 롤아웃의 텍스트가 아닌 분포적 시그니처 (distributional signature)로부터 이 구조를 복구합니다. 이 특징들은 실패를 안정적인 영역 (stable regimes)으로 클러스터링하고, 다양한 사후 학습 방법의 실패 지형 (failure topography)을 특성화하며 ($84.3{\pm}4.3%$ 정확도, 다수 클래스 기준선 대비 $+20%$), 배포와 관련된 Steerable-Hard 서브셋(재시도만으로는 불충분하며 제한된 개입이 가능한 실패 사례)에서 구조를 $+12.2%$ 향상시키는 훈련이 필요 없는 라우팅 규칙 (training-free routing rule)을 지원합니다. 이 특징들과 라우팅 규칙은 두 가지 교차 계열 프로브 (cross-family probes)에 걸쳐 전이됩니다. 따라서 동일한 세 가지 특징은 실패한 흔적을 버려지는 데이터에서 진단 객체 (diagnostic object)로 전환하며, 훈련 시간이나 가중치 공간 (weight-space)에 대한 접근 없이도 테스트 시간 라우팅과 사후 학습 분석을 지원합니다.