내부 독백 모니터링: 프로브 궤적을 통한 추론 역학의 규명

요약

대규모 추론 모델(LRM)의 사고의 사슬(CoT)이 최종 출력과 일치하지 않을 수 있는 문제를 해결하기 위해, 모델의 숨겨진 표현을 통한 '프로브 궤적(probe trajectory)' 분석 방법을 제안합니다. 각 토큰 생성 시점의 개념 확률 변화를 신호 처리 특징으로 추출하여 미래의 모델 행동을 예측함으로써, 단일 시점 예측보다 높은 성능으로 모델의 상태를 모니터링할 수 있음을 입증했습니다.

핵심 포인트

• CoT의 불일치 문제를 해결하기 위해 토큰 생성 과정의 숨겨진 표현을 추적하는 프로브 궤적 방식 도입
• 변동성, 추세, 정상 상태 등 신호 처리 특징을 추출하여 미래 모델 행동의 분리 성능 향상
• 템플릿 기반 학습 데이터를 통해 고비용의 초기 추론 및 레이블링 과정 없이도 높은 성능 달성 가능
• 풀링 연산 중 최대 풀링(max-pooling)이 가장 안정적이고 높은 성능(최대 95% AUROC)을 보임