OptSkills: 클러스터 기반 증류를 통해 문제 원형으로부터 일반화 가능한 최적화 기술 학습하기

자연어로부터 최적화 문제 (Optimization Problems)를 자동으로 공식화하고 해결하기 위해 대규모 언어 모델 (LLMs)을 활용하는 것은 자동화된 최적화 (Automated Optimization)를 위한 효율적인 패러다임으로 부상했습니다. 그러나 기존 방법들은 여전히 제한적인 일반화 (Generalization) 성능을 보입니다. 즉, 표면적인 서사적 변화에 민감하고, 경험을 주로 사례 (Case) 수준에서 재사용하며, 변화하거나 새롭게 등장하는 문제 유형에 적응하는 데 어려움을 겪습니다. 우리는 최적화 모델링 및 해결을 위한 원형 중심 (Archetype-centric) 기술 학습 및 추론 에이전트 시스템인 OptSkills를 제안합니다. 강력한 일반화 성능을 향상시키기 위해, 우리 시스템은 표면적인 서사가 아닌 기저에 깔린 원형 (Archetypes)에 따라 문제를 클러스터링 (Clustering)합니다. 분포 내 일반화 (In-distribution Generalization)를 개선하기 위해, 각 클러스터 내에서 다양한 모델링 패러다임과 솔버 (Solver) 설정을 탐색한 다음, 성공적인 궤적 (Trajectories)을 재사용 가능한 워크플로 수준의 기술 (Skills)로 증류 (Distillation)합니다. 분포 외 일반화 (Out-of-distribution Generalization)를 개선하기 위해, 새롭게 얻은 궤적을 사용하여 기존 기술을 개선하거나 기술 라이브러리를 확장합니다. 우리 시스템은 다양한 문제 유형과 시나리오를 포함하는 데이터셋에서 68.27%의 최첨단 (State-of-the-art) 마이크로 평균 정확도를 달성했습니다. 또한, 매우 도전적인 대규모 고차원 벤치마크인 MIPLIB-NL에서 26.91%의 정확도를 기록하며 DeepSeek-V3.2-Thinking보다 4.53% 높은 성능을 보였습니다. Nano-CO에서 기술 학습을 수행한 후, OOD NLCO 벤치마크에서 72.79%에 도달했습니다. 코드와 기술은 https://github.com/fujiwaranoM0kou/OptSkills 에서 확인할 수 있습니다.