MLExpert: 자율적인 머신러닝 엔지니어링을 위한 범용 에이전트 모델

원문 발행 2026. 10. 16. 02:56원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 논문은 LLM이 자율적으로 개발 및 개선하는 'AI4AI' 시대에 필요한, 장기적인 머신러닝 엔지니어링(MLE) 최적화 방법을 제시합니다. 연구진은 35B MoE 에이전트 모델인 MLExpert를 제안하고, Windowed Interaction RL (WIRL) 및 계층적 SFT 등의 사후 훈련 기법을 적용했습니다. 그 결과, MLE-Bench Lite에서 기본 모델 대비 성능을 크게 향상시켜 최첨단 모델과 비교 가능한 수준의 자율 에이전트 능력을 입증했습니다.

핵심 포인트

MLExpert는 장기적인 MLE 최적화를 위한 사후 훈련 방법론을 제시합니다.
WIRL(Windowed Interaction RL)은 연속적인 실험 결과에 기반한 공유 보상 할당 방식을 사용합니다.
계층적 에이전트 SFT를 통해 일반적인 도구 사용 및 코딩 능력을 MLE로 전이했습니다.
MLE-Bench Lite에서 기본 모델 대비 성능을 37.9%에서 72.7%로 크게 향상시켰습니다.

대규모 언어 모델(LLMs)은 과학 연구 및 공학 지원 영역에서 벗어나, AI 시스템을 자율적으로 개발하고 개선하는 방향으로 확장되고 있으며, 이는 재귀적 자기 개선(RSI)을 향한 경로인 AI를 위한 AI(AI4AI)로 나아가고 있습니다. 워크플로우 기반 머신러닝 엔지니어링(MLE) 시스템은 복잡한 오케스트레이션을 통해 장기적인 실험을 관리함으로써 이러한 추구에 실질적인 경로를 제공합니다. 최근의 MLE 시스템들은 모델 지향적 상호작용(model-directed interaction)을 채택하여, 모델이 실행 피드백을 기반으로 실험을 자율적으로 구성하고 최적화 전략을 조정할 수 있게 합니다. 하지만 각 실험에서 얻는 피드백은 여러 선행 결정들을 반영하며, 긴 MLE 실행 과정에는 이러한 비용이 많이 드는 많은 실험들이 포함됩니다. 따라서 훈련은 긴 상호작용 궤적(trajectory)으로부터 유용한 지도 학습(supervision)을 선택하고 중간 결과로부터 학습해야 합니다. 우리는 자율적인 장기 MLE 최적화를 위한 사후 훈련 방법(post-training method)을 제안하고, 이를 적용하여 35B Mixture-of-Experts 에이전트 모델인 MLExpert를 훈련시켰습니다. 우리는 실행 가능한 태스크를 구성하기 위한 Kaggle-MLE Factory와 모델 지향적 실험을 위한 상호작용 하네스(interaction harness)를 설계했습니다. 계층적 에이전트 SFT는 결과 기반 지도 학습을 통해 일반적인 도구 사용 및 코딩 능력을 MLE로 전이합니다. Windowed Interaction RL (WIRL)은 연속적인 실험 결과 사이의 다중 턴 결정들을 실행 창(execution window)으로 간주하고, 이에 공유된 결과 기반 보상(outcome-based reward)을 할당합니다. 비동기 수집 및 정책 수정은 궤적이 끝나기 전에 정책 업데이트를 지원합니다. MLE-Bench Lite에서 MLExpert는 기본 모델의 평균 메달률을 37.9%에서 72.7%로 향상시켜, Kimi-K3나 GLM-5.3와 같은 더 큰 최첨단(frontier) 모델과 비교할 만한 성능을 달성했습니다. 추가 실험에 따르면 MLExpert는 NatureBench Lite, 에이전트 스캐폴드 최적화, 알고리즘 최적화에서 성능 향상을 보여주었으며, 이는 학습된 최적화 능력이 다른 태스크에도 일반화됨을 시사합니다.

AI 자동 생성 콘텐츠

원문 바로가기

MLExpert: 자율적인 머신러닝 엔지니어링을 위한 범용 에이전트 모델

요약

핵심 포인트

댓글