최신 AI 에이전트의 '직무 수행 가능성'에 대한 검증, Agents' Last Exam (ALE) 공개

요약

최신 AI 에이전트의 실제 직무 수행 능력을 검증하기 위해 'Agents' Last Exam (ALE)'이라는 새로운 벤치마크가 공개되었습니다. ALE는 55개 직업에 걸쳐 1,500개 이상의 과제로 구성되어 최첨단 모델들을 평가했습니다. 결과적으로, 현재 에이전트들은 일부 작업을 수행할 수 있으나, 지속적인 추론이나 깊은 도메인 전문 지식이 필요한 어려운 작업에서는 인간 수준의 성능과는 거리가 멀다는 것이 밝혀졌습니다.

핵심 포인트

• ALE는 55개 직업에 걸친 1,500개 이상의 과제로 구성된 새로운 에이전트 벤치마크입니다.
• 최첨단 에이전트들은 일부 전문 작업을 해결할 수 있으나 한계가 명확합니다.
• 지속적인 추론과 깊은 도메인 지식이 필요한 어려운 작업에서는 성공률이 매우 낮습니다.
• ALE는 향후 직무 수행 가능한 AI 에이전트를 위한 중요한 평가 기준(북극성)이 될 것입니다.