Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 가이드 프로그램 발견 시 여러 작업을 동시에 최적화하는 EMO-STA 프레임워크를 제안합니다. 공유 아카이브를 먼저 구축한 후 각 작업에 적응시키는 2단계 방식을 통해 단일 작업 최적화보다 높은 성능과 일반화 능력을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기최근 LLM 가이드 진화적 탐색 (LLM-guided evolutionary search) 방법들은 반복적인 프로그램 변이 (program mutation)를 통해 강력한 알고리즘을 발견할 수 있음을 보여주었으나, 이들은 관련 작업들이 재사용 가능한 구조를 공유하는 경우에도 일반적으로 각 작업을 독립적으로 최적화합니다. 우리는 LLM 가이드 프로그램 발견을 위한 진화적 다중 작업 최적화 (Evolutionary Multi-Task Optimization, EMO)를 소개하며, 먼저 작업군 전체에 걸쳐 실행 가능한 프로그램의 공유 아카이브를 진화시킨 다음 선택된 공유 후보들을 각 대상 작업에 맞게 적응시키는 2단계 프레임워크인 EMO-STA (Shared-Then-Adapt)를 제안합니다. EMO-STA 내에서 우리는 공유 아카이브로부터의 웜 스타트 (warm-starting), 최적의 평균 공유 프로그램 적응, 그리고 각 대상 작업에서 가장 성능이 좋은 공유 프로그램 적응을 포함한 다양한 적응 전략을 탐구합니다. 연속 최적화 (continuous optimization), 기하학적 구성 (geometric construction), 모델링 (modeling), 알고리즘 최적화 (algorithmic optimization)를 아우르는 8개의 작업군에 대해 실험한 결과, EMO-STA는 대부분의 설정에서 동일한 연산량을 사용한 단일 작업 진화 (single-task evolution)보다 성능을 개선하였으며, STA Best-Local은 가장 강력한 분포 내 적응 (in-distribution adaptation)을 제공하고 STA Best-Shared는 미학습 작업으로의 견고한 전이 (transfer)를 생성했습니다. 연산 할당 (Compute-allocation) 실험에 따르면, 작업군 수준의 예산 중 상당 부분을 공유 진화에 할당하는 것이 일관되게 유익하며, 공유 예산과 적응 예산을 대략 균형 있게 배분하는 것이 종종 최적임이 나타났습니다. 연산 효율성을 넘어, 우리는 공유 진화가 ARC 작업 및 시계열 특징 공학 (time-series feature engineering)을 포함하여 증거가 부족한 설정 (예: 적은 학습 데이터)에서, 작업별로 취약한 인위적 결과물 (brittle artifacts)을 이용하기보다 모든 작업에 걸쳐 일반화되는 프로그램을 선호함으로써 과적합 (overfitting)을 완화할 수 있음을 보여줍니다.