원문은 AI Tech Connect에 게시되었습니다.

당신이 알아야 할 사항: 핵심 수치는 38.78%입니다. 과학 문헌에 대한 도구 증강 에이전틱 추론 (tool-augmented agentic reasoning)을 위한 arXiv 벤치마크인 PaperArena에 따르면, 잘 구축된 에이전틱 워크플로우 (agentic workflow)를 구동하는 선도적인 LLM조차 평균 정확도가 38.78%에 불과하다고 보고했습니다. 이는 특이한 사례가 아닙니다. WebResearcher는 가장 강력한 설정에서 Humanity's Last Exam에 대해 36.7%를 기록했는데, 이는 최첨단 (state-of-the-art) 결과임에도 불구하고 여전히 대부분의 질문에 답하지 못한 상태입니다. 이들은 설계 단계부터 난도가 높은 하드테일 (hard-tail) 벤치마크입니다. GSM-Agent는 제어 가능한 추론 환경을 구축하며, OmniEAR는 저자들이 현재 모델들이 잘 처리하지 못한다고 주장하는 체화된 작업 (embodied tasks)을 조사합니다. 수치 자체가 핵심은 아닙니다. 스캐폴드 (scaffold), 작업 분포 (task distribution), 그리고 점수가 단일 실행 (single-run)인지 아니면 pass@k인지 여부가 퍼센트 자체보다 더 중요합니다. 만약 당신이 에이전트를 지켜보았다면...

AI Tech Connect에서 전체 기사 읽기 →