Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 기반 에이전트의 장기 궤적 내 핵심 오류를 식별하기 위한 TrajDebug 프레임워크를 제안합니다. 다중 입도 역사 압축과 증거 기반 식별을 통해 연쇄적 오류 중 최종 실패의 원인이 되는 초기 단계를 찾아냅니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM 기반 에이전트 시스템(LLM-based agentic systems)은 복잡한 영역에서 놀라운 능력을 보여주었지만, 연쇄적인 오류(cascading errors)와 디버깅의 어려움을 겪고 있습니다. 핵심 오류 탐지(Critical error detection)는 최종 실패의 원인이 되는 실패한 궤적(failed trajectory) 내의 가장 초기 오류 단계를 찾아내는 것을 목표로 합니다. 그러나 연구 진행에는 두 가지 주요 과제가 있습니다. 첫째, 긴 궤적은 개별 오류를 식별하기 어렵게 만듭니다. 왜냐하면 특정 단계를 판단하기 위한 증거가 멀리 떨어진 지시사항(instructions), 관찰(observations), 그리고 이전 문맥(prior context)에 흩어져 있을 수 있기 때문입니다. 둘째, 실패한 궤적은 서로 다른 하류 효과(downstream effects)를 가진 여러 개의 국소적 오류(local errors)를 포함하는 경우가 많으며, 그중 일부만이 최종 실패의 원인이 됩니다. 본 연구에서는 다중 입도 역사 압축(multi-granularity history compression)과 증거 기반 오류 식별(evidence-based error identification)을 통해 장기 궤적 오류 발견 문제를 해결하고, 각 오류의 해결 상태와 최종 영향을 추적함으로써 핵심 귀인(critical attribution)을 지원하는 오류 생애주기 추적 프레임워크인 TrajDebug를 제안합니다. 나아가 우리는 실제 도구 사용(tool-use) 및 코딩 시나리오를 아우르는 Tau2Bench 및 SWE-Bench Pro에서 추출한 486개의 수동 주석 처리된 실패 궤적으로 구성된 벤치마크인 TrajErrBench를 구축했습니다. 다양한 에이전트 벤치마크에 걸친 실험 결과, TrajDebug는 기존 베이스라인(baselines) 대비 최고의 전반적인 성능을 달성하였으며, 응용 연구를 통해 그 진단이 하류 에이전트 성공률을 높이기 위한 실행 가능한 피드백을 제공함을 입증했습니다. 우리는 추가 연구를 촉진하기 위해 코드와 데이터를 공개할 예정입니다.