Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 에이전트의 순차적 하이퍼파라미터 최적화(HPO) 능력을 평가하기 위한 새로운 벤치마크인 AgentHPOBench를 소개합니다. 30개의 머신러닝 태스크를 통해 에이전트가 실험 로그를 해석하고 후속 설정을 제안하는 능력을 측정합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM (Large Language Models)이 코드 완성 시스템에서 자율적인 과학 에이전트(scientific agents)로 진화함에 따라, 실험을 수행하는 이들의 능력을 평가하는 것이 점점 더 중요해지고 있습니다. 기존의 벤치마크들은 일반적으로 정적인 코드 생성, 논문 재현, 또는 최종 정답의 정확성에 초점을 맞추고 있지만, 에이전트가 실험 증거를 해석하고 이를 사용하여 후속 하이퍼파라미터(hyperparameter) 결정을 안내할 수 있는지 여부를 직접적으로 평가하지는 않습니다. 이러한 격차를 해소하기 위해, 우리는 7개의 연구 카테고리에 걸쳐 30개의 실행 가능한 머신러닝 (machine learning) 태스크로 구성된 순차적 벤치마크인 AgentHPOBench를 소개합니다. 각 태스크는 검증된 베이스라인 (baseline) 실행으로 시작되며, 그 이후 에이전트는 여러 번의 순차적 개입을 수행합니다. 각 단계에서 에이전트는 다음 유효한 설정을 제안하기 전에 축적된 구성 (configurations), 지표 (metrics), 그리고 로그 (logs)를 관찰합니다. 우리는 통일된 프로토콜 하에 널리 사용되는 12개의 에이전트와 전통적인 HPO (Hyperparameter Optimization) 베이스라인들을 평가합니다. 결과에 따르면, 현재의 에이전트들은 여러 도메인에 걸쳐 측정 가능한 실험 최적화 능력을 보여주지만, 지속적인 반복적 개선 (iterative refinement), 복잡한 로그 진단 (log diagnosis), 그리고 보고된 참조 성능 (reference performance)을 향한 일관된 진전 측면에서는 여전히 명확한 한계에 직면해 있습니다.