코딩 에이전트가 계산 재료과학의 연구 결과를 재현할 수 있는가?

요약

본 논문은 대형 언어 모델(LLM) 기반 코딩 에이전트가 계산 재료과학 분야의 연구 결과를 얼마나 잘 재현할 수 있는지 평가하기 위해 AutoMat이라는 새로운 벤치마크를 제시합니다. 이 벤치마크는 불완전한 계산 절차 복원, 전문 도구 체인 탐색, 그리고 결과적 증거 분석 등 세 가지 상호 연관된 과제를 포함합니다. 실험 결과, 현재의 LLM 기반 에이전트들은 AutoMat에서 전반적으로 낮은 성공률(최고 54.1%)을 보였으며, 특히 논문 텍스트만으로는 복잡한 워크플로우를 재구성하는 데 어려움을 겪는 것으로 나타났습니다.

핵심 포인트

• LLM 기반 코딩 에이전트의 성능은 소프트웨어 엔지니어링 영역에서 뛰어나지만, 계산 과학과 같은 도메인 특화 분야로 전이되는 데 한계가 있다.
• AutoMat은 계산 재료과학 주장의 재현 가능성을 평가하는 새로운 벤치마크이며, 복잡한 워크플로우와 전문 지식 탐색 능력을 요구한다.
• 현재 에이전트들은 불완전하거나 맥락적 정보만으로 엔드투엔드 과학적 워크플로우를 성공적으로 복원하고 실행하는 데 어려움을 겪는다.
• 에이전트의 실패는 주로 불완전한 절차 재구성, 방법론적 편향, 그리고 실행 취약성에서 기인한다.