VAKRA: AI 에이전트의 복합적 문제 해결 능력 측정

요약

VAKRA는 AI 에이전트가 실제 기업 환경과 유사한 복잡한 워크플로우를 얼마나 잘 수행하는지 평가하기 위해 개발된 실행 가능한 벤치마크입니다. 기존의 단일 스킬 테스트와 달리, VAKRA는 API 호출과 비정형 데이터 검색을 결합한 다단계 추론 능력을 측정합니다. 이 벤치마크는 62개 도메인에 걸쳐 8,000개 이상의 로컬 API를 활용하며, 에이전트가 복잡한 작업을 성공적으로 완료하는지 검증합니다. 논문에서는 VAKRA의 네 가지 주요 역량(API 체이닝, 대시보드 API 사용, 다단계 추론 등)을 분석하고, 모델들이 어떤 지점

핵심 포인트

• VAKRA는 AI 에이전트가 실제 기업 환경에서 복합적인 워크플로우를 수행하는 능력을 평가하는 실행 가능한 벤치마크입니다.
• 이 벤치마크는 API 호출과 비정형 데이터 검색을 결합한 다단계 추론(multi-step reasoning) 능력을 측정합니다.
• VAKRA의 첫 번째 역량은 BI API를 사용한 'API 체이닝'이며, 최대 12개의 도구 호출을 포함할 수 있습니다.
• 두 번째와 세 번째 역량은 대시보드 API를 활용하며, 특정 도메인에 맞는 적절한 API 선택 및 다단계 추론 능력을 요구합니다.