Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Annotrace는 LLM 에이전트 트레이스 분석을 위한 워크벤치로, 기존 플랫폼들의 한계를 극복합니다. OpenTelemetry GenAI 등 6가지 트레이스 형식을 읽어 실행을 순서화되고 중첩된 단계 목록으로 변환하며, 주석 작업을 인간-AI 공동 프로세스로 만듭니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM 에이전트가 왜 실패하는지에 대한 모든 연구는 수동으로 트레이스를 라벨링하는 것에서 시작하며, 이러한 모든 연구는 자체적인 임시 도구를 구축합니다. 관측 가능성 플랫폼(Observability platforms)은 에이전트 트레이스를 기록하지만 구조화된 라벨링을 제공하지 못합니다. 주석 도구(annotation tools)는 텍스트를 라벨링하지만 단계(step), 위임(delegation), 또는 도구 호출(tool call)에 대한 개념이 없어, 무엇을 라벨링해야 하는 가장 작은 실행 단위인지 불분명하게 만듭니다. Annotrace는 OpenTelemetry GenAI, LangSmith, Langfuse를 포함한 6가지 트레이스 형식을 읽고, 각 실행(run)을 순서화되고 중첩된 단계 목록으로 변환합니다. 주석 작성자는 자체적인 라벨링 코드북을 작성하고, 최첨단 모델(frontier model)은 자신의 트레이스 샘플에서 시작 세트를 제안하며, 인간에게 질문하는 것과 정확히 동일한 질문에 답하게 하여 주석 작업을 공동의 인간-AI 프로세스로 만듭니다. Annotrace는 두 명의 주석 작성자(인간 또는 AI) 간의 일치도를 측정합니다. 다중 에이전트 질의응답 코퍼스에서 이전 수동 노력의 235개 주석 단위를 정확하게 재현하며, 동일한 트레이스를 라벨링하는 두 모델은 $ ext{κ}=0.82$에서 91%의 일치도를 보입니다.