TRACE: LLM 에이전트를 위한 적응형 교차 단계 증거 집계 기반 궤적 추론 (Trajectory Reasoning through

원문 발행 2026. 06. 05. 17:54원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

LLM 에이전트의 숨겨진 악의적 목표를 탐지하기 위한 새로운 모니터링 프레임워크인 TRACE를 제안합니다. TIJ(Triage-Inspect-Judge) 루프를 통해 긴 호흡의 궤적 내에서 흩어진 증거를 연결하여 정밀한 추론을 수행합니다.

핵심 포인트

기존 윈도우 기반 모니터링의 한계인 장거리 증거 연결 문제 해결
TIJ(Triage-Inspect-Judge) 루프를 통한 적응형 검사 메커니즘 도입
SHADE-Arena 평가 결과 F1 점수 0.713 및 재현율 0.844 달성
장거리 행동 간의 상관관계를 분석하여 악의적 의도 탐지 성능 향상

자율적인 LLM 에이전트(LLM agents)는 개별적으로는 무해한 행동의 연속을 통해 숨겨진 악의적인 목표를 추구할 수 있으며, 이로 인해 표준적인 궤적 수준(trajectory-level) 모니터링으로는 파괴 행위를 탐지하기 어렵습니다. 기존 방식들은 전체 궤적을 단 한 번의 패스(pass)로 평가하거나, 이를 독립적으로 점수가 매겨지는 윈도우(windows)로 분할하는데, 이는 시간적으로 멀리 떨어진 행동들 사이의 증거를 연결하는 능력을 제한합니다. 우리는 긴 호흡의(long-horizon) LLM 에이전트 궤적을 위한 모니터링 프레임워크인 TRACE를 제안합니다. TRACE는 신호가 높은 영역을 식별하고, 추론 단계 전반에 걸쳐 축적된 증거를 유지하면서 타겟팅된 검사(inspection)를 수행하며, 궤적 수준의 판결을 합성하는 TIJ (Triage-Inspect-Judge) 루프를 통해 작동합니다. 우리는 SHADE-Arena의 10개 작업 도메인에서 최첨단(state-of-the-art) 베이스라인 모델들을 대상으로 TRACE를 평가합니다. TRACE는 0.713의 종합 F1 점수와 0.844의 재현율(recall)을 달성하였으며, 장거리 증거 연결이 필요한 작업에서 가장 큰 성능 향상을 보였습니다.

AI 자동 생성 콘텐츠

원문 바로가기

TRACE: LLM 에이전트를 위한 적응형 교차 단계 증거 집계 기반 궤적 추론 (Trajectory Reasoning through

요약

핵심 포인트

댓글