MOCHA: 에이전트 기술 최적화를 위한 다중 목적 Chebyshev Annealing

LLM 에이전트는 기술(skills)을 통해 행동을 조직합니다. 여기서 기술이란 에이전트가 추론하고, 검색하며, 응답하는 방식을 규정하는 구조화된 자연어 명세(natural-language specifications)를 의미합니다. 단일 구조의 프롬프트(monolithic prompts)와 달리, 기술은 플랫폼의 엄격한 제약 조건(hard platform constraints)을 받는 다중 필드 산출물(multi-field artifacts)입니다. 예를 들어, 라우팅(routing)을 위해 설명 필드가 잘리거나, 점진적 공개(progressive disclosure)를 통해 지시문 본문이 압축되며, 동일 공간에 상주하는 기술들이 제한된 컨텍스트 창(context windows)을 두고 경쟁합니다. 이러한 제약 조건은 기술 최적화를 본질적으로 다중 목적(multi-objective) 문제로 만듭니다. 즉, 기술은 작업 성능을 극대화하는 동시에 플랫폼의 제한 사항을 충족해야 합니다. 그러나 기존의 프롬프트 최적화 도구들은 이러한 트레이드오프(trade-offs)를 무시하거나 이를 가중 합(weighted sum)으로 통합해 버림으로써, 비볼록 목적 함수 영역(non-convex objective regions)에서의 파레토 최적(Pareto-optimal) 변체들을 놓치고 있습니다. 본 논문에서는 단일 목적 선택을 Chebyshev 스칼라화(Chebyshev scalarization)로 대체하여 비볼록 영역을 포함한 전체 파레토 프런트(Pareto front)를 포괄하고, 탐색(exploration)에서 활용(exploitation)으로 전환되는 지수 어닐링(exponential annealing)을 결합한 MOCHA(Multi-Objective Chebyshev Annealing)를 소개합니다. 6가지의 다양한 에이전트 기술을 대상으로 한 실험에서(모든 방법론은 동일한 다중 목적 변이 연산자를 공유하며, 베이스라인은 목적별로 동일한 텍스트 피드백을 받음), 기존 최적화 도구들은 6개 작업 중 4개에서 시드 기술(seed skill)을 개선하는 데 실패했습니다. 1,000번의 롤아웃(rollouts) 결과 진전이 전혀 없었습니다. 반면 MOCHA는 모든 작업에서 돌파구를 마련하였으며, 가장 강력한 베이스라인 대비 평균 정확도에서 7.5%의 상대적 향상(FEVER에서 최대 14.9%, TheoremQA에서 10.4%)을 달성하는 동시에, 두 배 더 많은 파레토 최적 기술 변체를 발견했습니다.