MLEvolve: 자동화된 머신러닝 알고리즘 발견을 위한 자기 진화형 프레임워크

대규모 언어 모델 (LLM) 에이전트는 과학적 발견 및 머신러닝 엔지니어링 (MLE)과 같이 지속적인 자기 진화 (self-evolution)가 핵심 역량이 되는 장기적 과제 (long-horizon tasks)에 점점 더 많이 적용되고 있습니다. 그러나 기존의 MLE 에이전트는 분기 간 정보 격리 (inter-branch information isolation), 기억 없는 탐색 (memoryless search), 그리고 계층적 제어 (hierarchical control)의 부재로 인해 어려움을 겪고 있으며, 이는 결과적으로 장기적인 최적화를 방해합니다. 우리는 엔드 투 엔드 (end-to-end) 머신러닝 알고리즘 발견을 위한 LLM 기반의 자기 진화형 멀티 에이전트 프레임워크인 MLEvolve를 제시합니다. 트리 탐색 (tree search)을 점진적 MCGS (Progressive MCGS)로 확장함으로써, MLEvolve는 그래프 기반 참조 엣지 (graph-based reference edges)를 통해 분기 간 정보 흐름을 가능하게 하며, 엔트로피에서 영감을 얻은 점진적 스케줄 (progressive schedule)을 통해 탐색을 광범위한 탐색 (exploration)에서 집중적인 활용 (exploitation)으로 점진적으로 전환합니다. 에이전트가 축적된 경험과 함께 진화할 수 있도록, 우리는 콜드 스타트 (cold-start) 도메인 지식 베이스와 작업별 경험 검색 및 재사용을 위한 동적 글로벌 메모리 (dynamic global memory)를 결합한 회고적 메모리 (Retrospective Memory)를 도입합니다. 안정적인 장기 반복 (long-horizon iteration)을 위해, 우리는 적응형 코딩 모드 (adaptive coding modes)를 통해 전략적 계획 (strategic planning)을 코드 생성 (code generation)으로부터 더욱 분리합니다. MLE-Bench를 통한 평가 결과, MLEvolve는 12시간 예산(표준 실행 시간의 절반) 하에서 평균 메달 획득률 (average medal rate) 및 유효 제출률 (valid submission rate)을 포함한 여러 차원에서 최첨단 (state-of-the-art) 성능을 달성했습니다. 또한, MLEvolve는 수학적 알고리즘 최적화 작업에서 AlphaEvolve를 포함한 전문화된 알고리즘 발견 방법들을 능가하며 강력한 교차 도메인 일반화 (cross-domain generalization) 능력을 입증했습니다. 우리의 코드는 https://github.com/InternScience/MLEvolve 에서 확인할 수 있습니다.