OnTrack: 스트리밍 구조 인식 최적 수송을 통한 LLM 에이전트 궤적의 실시간 모니터링 및 개입

요약

본 논문은 LLM 에이전트가 자율적으로 작동할 때 발생할 수 있는 비용 및 안전 문제를 해결하기 위해 OnTrack이라는 스트리밍 모니터링 메커니즘을 제안합니다. OnTrack은 에이전트의 실행 단계를 성공적인 기록과 비교하여 실시간으로 사용자에게 알림을 보내거나 에이전트를 차단하는 방식으로, 단계당 1밀리초 만에 작동합니다. 이를 통해 계획 위반 탐지 및 루프 식별 등에서 높은 효율성과 정확도를 입증했습니다.

핵심 포인트

• OnTrack은 LLM 에이전트의 실시간 스트리밍 모니터링 메커니즘입니다.
• 단계당 1밀리초 만에 작동하여 비용과 지연 시간을 최소화합니다.
• 실패하는 실행을 성공하는 실행보다 더 잘 순위화하여 높은 탐지 성능을 보였습니다.
• 중단 정책 적용 시, 실패 실행에서 소모되는 컴퓨팅 자원을 크게 절약할 수 있습니다.