복잡한 최적화 문제 해결을 위한 종합 벤치마크, OptiVerse 공개

대규모 언어 모델(LLMs)이 놀라운 추론 능력을 보여주고 있지만, 복잡한 최적화 문제(Optimization problems)를 해결하는 것은 여전히 어려운 과제로 남아있습니다. 이러한 문제는 단순히 지식만으로는 부족하며 도메인 전문 지식과 견고한 구현 능력을 요구합니다.

기존의 벤치마크들은 주로 수학적 프로그래밍 (Mathematical Programming)이나 조합 최적화 (Combinatorial Optimization)와 같은 특정 영역에 초점을 맞추어 평가 범위가 협소하다는 한계가 있었습니다. 이러한 간극을 메우기 위해, 연구진은 광범위한 분야를 포괄하는 종합 벤치마크인 'OptiVerse'를 개발했습니다.

✨ OptiVerse의 특징:

• 규모 및 범위: 총 1,000개의 문제를 포함하며, 기존에 소홀히 다루어졌던 영역들을 아우릅니다.
• 포함 도메인: 확률적 최적화 (Stochastic Optimization), 동적 최적화 (Dynamic Optimization), 게임 최적화 (Game Optimization), 그리고 최적 제어 (Optimal Control) 등 4가지 핵심 분야를 포괄합니다.
• 난이도 구성: 쉬움(Easy), 보통(Medium), 어려움(Hard)의 세 가지 난이도로 문제를 분류하여 체계적인 평가가 가능합니다.

🔍 실험 결과 및 분석:
OptiVerse를 사용하여 22개의 다양한 크기의 LLM을 테스트한 결과, 모델 성능에 명확한 격차가 나타났습니다. 특히 '어려움(Hard)' 난이도의 문제에서는 GPT-5.2나 Gemini-3와 같은 최첨단 고급 모델조차 정확도가 27%를 넘기 힘든 모습을 보였습니다.

연구진은 오류 분석(error analysis)을 수행하여, LLM이 최적화 문제를 해결하는 과정에서 가장 큰 병목 지점(bottleneck)이 '모델링 및 논리 오류'에 있음을 밝혀냈습니다. 즉, 복잡한 문제의 구조를 정확히 수학적 모델로 변환하거나 추론하는 단계에서 어려움이 발생한다는 것입니다.

🛠️ 제안된 해결책: Dual-View Auditor Agent:
이러한 한계를 극복하기 위해, 연구진은 'Dual-View Auditor Agent'라는 새로운 에이전트를 제안했습니다. 이 에이전트는 LLM의 모델링 프로세스 정확도를 향상시키는 데 초점을 맞추었으며, 동시에 계산 시간 오버헤드(time overhead)를 크게 증가시키지 않는 효율성을 갖추고 있습니다.

OptiVerse는 앞으로 LLMs가 복잡한 최적화 문제 해결 능력을 발전시키는 데 필요한 기초적인 플랫폼 역할을 할 것으로 기대됩니다.