LLM이 고전적인 하이퍼파라미터 최적화 알고리즘을 이길 수 있는가? autoresearch에 관한 연구

요약

LLM 에이전트가 훈련 코드를 직접 수정하여 하이퍼파라미터를 최적화하는 autoresearch 연구를 다룹니다. 실험 결과 LLM은 고전적 HPO 알고리즘보다 최적화 상태 추적에 어려움을 겪었으나, 고전적 알고리즘의 내부 상태를 공유하는 하이브리드 방식인 Centaur는 매우 뛰어난 성능을 보였습니다.

핵심 포인트

LLM은 고전적 HPO 알고리즘의 대체재보다 보완재로서 효과적임
Centaur 하이브리드 방식은 0.8B 소형 모델로도 기존 방법론을 능가함
LLM은 최적화 과정에서의 상태 추적 및 도메인 지식 활용에 한계가 있음
고전적 알고리즘의 해석 가능한 상태를 LLM과 공유하는 것이 핵심

Computer Science > Machine Learning

제목: LLM이 고전적인 하이퍼파라미터 최적화 (Hyperparameter Optimization, HPO) 알고리즘을 이길 수 있는가? autoresearch에 관한 연구

View PDF HTML (experimental)초록: autoresearch 저장소는 LLM 에이전트가 훈련 코드를 직접 수정함으로써 하이퍼파라미터 (hyperparameters)를 최적화할 수 있게 합니다. 본 연구에서는 고정된 연산 예산 (compute budget) 하에서 소형 언어 모델 (small language model)의 하이퍼파라미터를 튜닝할 때, 고전적인 HPO 알고리즘과 LLM 기반 방법론을 비교하는 테스트베드로 이를 사용합니다. autoresearch 상에서 고정된 탐색 공간 (search space)을 정의했을 때, 메모리 부족 (out-of-memory, OOM) 오류를 피하는 것이 탐색 다양성 (search diversity)보다 중요한 상황에서는 CMA-ES 및 TPE와 같은 고전적 방법들이 LLM 기반 에이전트보다 일관되게 우수한 성능을 보였습니다. LLM이 소스 코드를 직접 수정할 수 있도록 허용하면 고전적 방법과의 격차가 줄어들기는 하지만, 본 논문 작성 시점에 사용 가능한 Claude Opus 4.6 및 Gemini 3.1 Pro Preview와 같은 최첨단 모델 (frontier models)을 사용하더라도 그 격차를 완전히 좁히지는 못했습니다. 우리는 LLM이 여러 시행 (trials)에 걸쳐 최적화 상태 (optimization state)를 추적하는 데 어려움을 겪는다는 점을 관찰했습니다. 반면, 고전적 방법들은 LLM이 가진 도메인 지식 (domain knowledge)이 부족합니다. 두 방식의 강점을 결합하기 위해, 우리는 평균 벡터 (mean vector), 단계 크기 (step-size), 공분산 행렬 (covariance matrix)을 포함한 CMA-ES의 해석 가능한 내부 상태 (interpretable internal state)를 LLM과 공유하는 하이브리드 방식인 Centaur를 소개합니다. Centaur는 본 실험에서 가장 좋은 결과를 달성했으며, 0.8B 규모의 LLM만으로도 모든 고전적 방법 및 순수 LLM 방법론을 능가하기에 충분했습니다. 제약 없는 코드 수정의 경우, 고전적 방법과 경쟁하기 위해서는 더 큰 모델이 필요합니다. 우리는 추가적으로 탐색 다양성, 0.8B에서 최첨단 모델로의 모델 스케일링 (model scaling), 그리고 Centaur에서 LLM이 제안하는 시행의 비율에 대한 절제 연구 (ablation study)를 수행했습니다. 종합적으로, 우리의 결과는 LLM이 고전적 최적화 도구의 대체재가 아닌 보완재로서 가장 효과적임을 시사합니다.

코드는 이 https URL에서 확인할 수 있으며, 대화형 데모는 이 https URL에서 확인할 수 있습니다.

제출 이력

보낸 사람: Fabio Ferreira [이메일 보기]**[v1]**2026년 3월 25일 수요일 17:29:40 UTC (1,874 KB)

**[v2]**2026년 3월 29일 일요일 18:46:53 UTC (2,456 KB)

**[v3]**2026년 4월 4일 토요일 10:33:34 UTC (3,843 KB)

[v4] 2026년 4월 13일 월요일 21:59:37 UTC (3,768 KB)

[v5] 2026년 4월 17일 금요일 18:50:51 UTC (3,905 KB)

현재 브라우즈 컨텍스트 (Current browse context):

참고문헌 및 인용 도구 (Bibliographic and Citation Tools)

이 논문과 관련된 코드, 데이터 및 미디어 (Code, Data and Media Associated with this Article)

데모 (Demos)

arXivLabs: 커뮤니티 협력자와 함께하는 실험적 프로젝트

arXivLabs는 협력자들이 우리의 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있도록 지원하는 프레임워크입니다.

arXivLabs와 함께 활동하는 개인 및 조직은 개방성, 커뮤니티, 탁월함, 그리고 사용자 데이터 프라이버시라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하고 있으며, 이를 준수하는 파트너와만 협력합니다.

arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.

AI 자동 생성 콘텐츠

원문 바로가기