TRACER: 멀티모달 도구 사용 에이전트를 위한 검증 가능한 생성적 출처 추적

요약

TRACER는 멀티모달 LLM 에이전트가 외부 도구를 사용하여 추론할 때 발생하는 '출처 추적 격차' 문제를 해결하기 위해 설계된 검증 가능한 생성적 출처 추적 프레임워크입니다. 기존 시스템은 최종 결과만 제공하여 주장의 근거를 명확히 알기 어려웠으나, TRACER는 각 답변 문장이 어떤 도구 턴과 증거 단위에 의해 직접적으로 지지되는지를 구조화된 기록으로 제시합니다. 이를 통해 생성 과정의 신뢰성을 높이고, 추적 가능성 제약 조건 및 강화학습(RL)을 위한 출처 기반 크레딧으로 활용할 수 있습니다.

핵심 포인트

• TRACER는 멀티모달 LLM 에이전트가 도구 사용 과정에서 발생하는 주장-도구 관찰 간의 '출처 추적 격차'를 해결합니다.
• 단순한 인용을 넘어, TRACER는 답변 문장마다 지원하는 도구 턴, 증거 단위, 그리고 의미적 지원 관계(직접 재사용, 응축, 근거 기반 도출)를 구조화하여 기록합니다.
• 제안된 프레임워크는 스키마 검사 및 출처 진위성 검증을 통해 생성 과정의 신뢰성을 확보하며, 이를 RL 학습에 활용할 수 있습니다.
• 벤치마크인 TRACE-Bench를 구축하여 문장 수준의 정교한 출처 재구성 능력을 평가하고, 기존 도구 호출 중심 방식보다 효율적임을 입증했습니다.