DistDebug-Bench: LLM 에이전트가 분산 시스템의 버그를 진단할 수 있는가?

요약

기존 LLM 벤치마크는 분산 시스템과 같은 복잡한 생산용 소프트웨어 환경을 다루지 못하는 한계가 있었습니다. 이에 에이전트의 버그 진단 능력을 평가하기 위한 DistDebug-Bench를 소개합니다. 이 벤치마크는 실제 산업용 버그 120개를 포함하며, 현재 LLM 에이전트는 명시적 추론 구조 부족으로 인해 실질적인 디버깅 작업과 상당한 성능 격차를 보였습니다.

핵심 포인트

• 기존 벤치마크는 분산 시스템 등 복잡한 환경을 테스트하지 못함.
• DistDebug-Bench는 11개 분산 시스템의 실제 버그 120개를 포함하여 개발됨.
• 에이전트와 실제 디버깅 작업 간에 상당한 성능 격차가 확인됨.
• 격차의 원인은 명시적 추론 구조 부족과 도구 사용 비일관성 때문임.