Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
MLEvolve는 머신러닝 알고리즘 발견을 위해 설계된 LLM 기반의 자기 진화형 멀티 에이전트 프레임워크입니다. 트리 탐색 확장, 회고적 메모리, 적응형 코딩 모드를 통해 장기적인 최적화 문제를 해결하며 MLE-Bench에서 최첨단 성능을 기록했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLM) 에이전트는 과학적 발견 및 머신러닝 엔지니어링 (MLE)과 같이 지속적인 자기 진화 (self-evolution)가 핵심 역량이 되는 장기적 과제 (long-horizon tasks)에 점점 더 많이 적용되고 있습니다. 그러나 기존의 MLE 에이전트는 분기 간 정보 격리 (inter-branch information isolation), 기억 없는 탐색 (memoryless search), 그리고 계층적 제어 (hierarchical control)의 부재로 인해 어려움을 겪고 있으며, 이는 결과적으로 장기적인 최적화를 방해합니다. 우리는 엔드 투 엔드 (end-to-end) 머신러닝 알고리즘 발견을 위한 LLM 기반의 자기 진화형 멀티 에이전트 프레임워크인 MLEvolve를 제시합니다. 트리 탐색 (tree search)을 점진적 MCGS (Progressive MCGS)로 확장함으로써, MLEvolve는 그래프 기반 참조 엣지 (graph-based reference edges)를 통해 분기 간 정보 흐름을 가능하게 하며, 엔트로피에서 영감을 얻은 점진적 스케줄 (progressive schedule)을 통해 탐색을 광범위한 탐색 (exploration)에서 집중적인 활용 (exploitation)으로 점진적으로 전환합니다. 에이전트가 축적된 경험과 함께 진화할 수 있도록, 우리는 콜드 스타트 (cold-start) 도메인 지식 베이스와 작업별 경험 검색 및 재사용을 위한 동적 글로벌 메모리 (dynamic global memory)를 결합한 회고적 메모리 (Retrospective Memory)를 도입합니다. 안정적인 장기 반복 (long-horizon iteration)을 위해, 우리는 적응형 코딩 모드 (adaptive coding modes)를 통해 전략적 계획 (strategic planning)을 코드 생성 (code generation)으로부터 더욱 분리합니다. MLE-Bench를 통한 평가 결과, MLEvolve는 12시간 예산(표준 실행 시간의 절반) 하에서 평균 메달 획득률 (average medal rate) 및 유효 제출률 (valid submission rate)을 포함한 여러 차원에서 최첨단 (state-of-the-art) 성능을 달성했습니다. 또한, MLEvolve는 수학적 알고리즘 최적화 작업에서 AlphaEvolve를 포함한 전문화된 알고리즘 발견 방법들을 능가하며 강력한 교차 도메인 일반화 (cross-domain generalization) 능력을 입증했습니다. 우리의 코드는 https://github.com/InternScience/MLEvolve 에서 확인할 수 있습니다.