Insights Generator: LLM 에이전트를 위한 체계적인 코퍼스 수준의 트레이스 진단

요약

LLM 에이전트의 실패를 진단하기 위해 코퍼스 수준의 트레이스를 분석하는 멀티 에이전트 시스템 'Insights Generator(IG)'를 제안합니다. IG는 가설 제안과 테스트를 통해 체계적인 행동 패턴을 자연어로 요약하며, 전문가의 성능을 30.4pp 향상시키는 효과를 입증했습니다.

핵심 포인트

• 수동 진단의 한계를 극복하는 코퍼스 수준의 체계적 진단 프레임워크 제안
• 스카우트-조사관(scout-investigator) 아키텍처 기반의 멀티 에이전트 시스템
• 전문가의 스캐폴드 성능을 30.4pp 향상시키는 실질적 효과 입증
• 증거 기반의 자연어 통찰 보고서 생성 및 질적 평가 완료