에이전트 추적에서 신뢰로: LLM 에이전트의 증거 추적 및 실행 출처 (Evidence Tracing and Execution

대규모 언어 모델 (LLM) 기반 에이전트는 외부 도구 (tools), 검색 시스템 (retrieval systems), 메모리 모듈 (memory modules), 환경 (environments) 및 기타 에이전트와 상호 작용함으로써 점점 더 복잡한 과제를 해결하고 있습니다. 이러한 능력은 에이전트의 자율성을 확장하지만, 동시에 에이전트의 행동을 검증, 디버깅 (debug) 및 감사 (audit)하기 어렵게 만듭니다. 최종 답변의 정확도만으로는 출력이 어떻게 생성되었는지, 어떤 증거가 각 주장을 뒷받침했는지, 도구 호출 (tool calls)이 정당했는지, 메모리가 이후의 결정에 어떻게 영향을 미쳤는지, 또는 실행 실패가 어디에서 기인했는지를 설명할 수 없습니다. 증거 추적 (Evidence tracing) 및 실행 출처 (execution provenance)는 검색된 증거, 도구 출력, 메모리 항목, 환경 관찰, 중간 주장, 행동 및 최종 답변이 에이전트 실행 전반에 걸쳐 어떻게 연결되는지를 모델링함으로써 이러한 격차를 해소합니다. 본 서베이 (survey)는 LLM 에이전트의 증거 추적 및 실행 출처에 대한 체계적인 검토와 개념적 프레임워크를 제공합니다. 우리는 검색 근거 (retrieval grounding), 주장 지원 (claim support), 도구 사용 안전성 (tool-use safety), 메모리 계보 (memory lineage), 관찰 가능성 (observability), 디버깅 (debugging), 감사 (audit) 및 복구 (recovery)를 연결하는 통합된 출처 관점 (provenance perspective)을 중심으로 관련 연구를 정리합니다. 우리는 추적 소스 (trace sources), 증거 및 실행 단위 (evidence and execution units), 출처 관계 (provenance relations), 추적 세분성 및 타이밍 (tracing granularity and timing), 표현 형태 (representation forms), 그리고 신뢰 기능 (trust functions)을 다루는 분류 체계 (taxonomy)를 도입합니다. 우리는 출처 표현 (provenance representation), 증거 귀속 (evidence attribution), 도구 사용 출처 (tool-use provenance), 런타임 가드레일 (runtime guardrails), 출처를 포함하는 메모리 (provenance-bearing memory), 추적 기반 관찰 가능성 (trace-based observability) 및 실패 진단 (failure diagnosis)을 포함한 주요 방법론적 방향을 검토합니다. 또한 기존의 벤치마크 (benchmarks), 데이터셋 (datasets) 및 평가 지표 (evaluation metrics)를 출처 관련 기능에 매핑하고, 평가가 최종 답변의 정확성에서 프로세스 수준의 책임성 (process-level accountability)으로 어떻게 이동할 수 있는지 논의합니다. 마지막으로, 통합된 추적 스키마 (trace schemas), 주장 수준 및 의미론적 출처 (claim-level and semantic provenance), 출처 인식 안전 메커니즘 (provenance-aware safety mechanisms), 현실적인 실행 추적 벤치마크 (execution-trace benchmarks), 복구 지향적 평가 (recovery-oriented evaluation), 그리고 개인정보 보호 인식 감사 인프라 (privacy-aware audit infrastructure)를 포함한 향후 과제들을 개괄합니다.