TurnSight: 도구 통합 추론을 위한 턴 단위 사후 자기 증류 (Turn-Level Hindsight Self-Distillation)

원문 발행 2026. 08. 05. 02:59원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

TurnSight는 LLM의 도구 통합 추론(TIR) 성능을 높이기 위해 제안된 턴 단위 사후 자기 증류 프레임워크입니다. 기존 RL 방식의 세밀한 신용 할당 문제를 해결하기 위해 실행 조건부 사후 정보를 활용하여 밀도 높은 감독 신호를 제공합니다.

핵심 포인트

도구 상호작용의 턴 단위 구조를 포착하는 사후 자기 증류 방식 제안
실행 조건부 사후(execution-conditioned hindsight)를 통한 직접적인 감독 도출
다양한 예측 지평 간의 방향 일치성을 통한 신뢰할 수 있는 감독 신호 선택
장기적 도구 사용 시나리오에서 정밀한 신용 할당 문제 해결

도구 통합 추론 (Tool-Integrated Reasoning, TIR)은 LLM이 반복적인 도구 상호작용을 통해 복잡한 과업을 해결할 수 있도록 합니다. 그러나 기존의 강화학습 (Reinforcement Learning, RL) 방법들은 종종 궤적 수준 (trajectory-level)의 감독에 의존하며, 이는 장기적 (long-horizon) TIR 시나리오에서 세밀한 신용 할당 (credit assignment)을 제한합니다. 온-정책 (On-policy) 자기 증류 (self-distillation)는 특권적 문맥 (privileged context)을 가진 교사 브랜치 (teacher branches)를 통해 더 밀도 높은 신호를 제공하지만, 기존 방식들은 일반적으로 이러한 문맥을 정답 (ground-truth)이나 검색된 기술 (retrieved skills)로부터 도출하며, 이는 에이전트가 실제로 방문한 상태를 반영하지 못할 수 있습니다. 또한, 토큰 수준 (token-level)의 감독은 도구 상호작용의 턴 단위 (turn-level) 구조를 포착하지 못합니다. 이를 해결하기 위해, 우리는 실행 조건부 사후 (execution-conditioned hindsight)로부터 직접 감독을 도출하는 턴 단위 사후 자기 증류 프레임워크인 TurnSight를 제안합니다. 그런 다음, 서로 다른 예측 지평 (lookahead horizons)을 가진 여러 사후 뷰 (hindsight views)를 구축하고, 지평 간 방향 일치성 (cross-horizon directional agreement)을 통해 신뢰할 수 있는 감독을 선택합니다. 마지막으로, 선택된 사후 신호는 형제 롤아웃 (sibling rollouts) 전체에 걸쳐 정규화되며, 원래의 최적화 방향을 유지하면서 RL 어드밴티지 (advantages)를 적응적으로 조절하는 데 사용됩니다. 세 가지 벤치마크에 대한 광범위한 실험을 통해 TurnSight의 효과를 입증했습니다. 우리의 코드는 https://github.com/quchangle1/TurnSight 에서 확인할 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

TurnSight: 도구 통합 추론을 위한 턴 단위 사후 자기 증류 (Turn-Level Hindsight Self-Distillation)

요약

핵심 포인트

댓글