OptiLoop: LLM 생성 최적화 에이전트를 위한 협력 루프 기반 검증 및 수정

많은 분산형 의사결정 (decentralized decision) 문제들은 목표, 제약 조건 및 데이터를 비공개로 유지하면서 여러 당사자가 공유된 의사결정에 협력할 것을 요구합니다. 대규모 언어 모델 (LLMs)은 자연어 명세 (natural-language specifications)로부터 로컬 최적화 에이전트 (local optimization agents)를 생성함으로써 참여 장벽을 낮출 수 있는 유망한 방법을 제공합니다. 그러나 협력 환경 (coordination settings)에서는 실행 가능성 (executability)만으로는 충분하지 않습니다. 생성된 에이전트가 컴파일되고, 문제를 해결하며, 로컬 체크를 통과하더라도 비용을 잘못 표현하거나, 제약 조건의 범위를 잘못 설정하거나, 인센티브에 잘못 반응하는 등 의미론적으로 틀릴 수 있기 때문입니다. 이러한 오류는 종종 실행 불가능성 (infeasibility)보다는 체계적인 행동 실패 (systematic behavioral failures)로서 협력 과정 중에만 드러납니다.

우리는 LLM 생성 최적화 에이전트를 위한 협력 루프 기반 검증 및 수정 (coordination-in-the-loop verification and repair)을 제안합니다. 우리는 이 아이디어를 교대 방향 승수법 (Alternating Direction Method of Multipliers, ADMM) 스타일의 합의 프로토콜 (consensus protocol)로 구체화하며, 텍스트로부터 로컬 최적화 에이전트를 생성하고, 고정된 참조 상대방 (reference counterparty)과의 짧고 제한된 협력 실행을 통해 이를 검증하며, 구조화된 행동 및 정적 증거를 추출하고, 증거 기반 수정 (evidence-driven repair)을 적용하는 파이프라인인 OptiLoop을 소개합니다. 실패가 구현상의 문제가 아닌 구조적인 문제일 경우, OptiLoop은 국소적인 코드 수정에서 수정된 공식화 (corrected-formulation) 수정으로 단계를 격상하며, 추가적으로 이전 사례로부터 얻은 에피소드적 교훈 (episodic lessons)을 재사용할 수 있습니다.

40개의 홀드아웃 테스트 시나리오 (held-out test scenarios)에서 OptiLoop-Full은 강력한 로컬 검증 (local-validation) 베이스라인과 비교했을 때, 목표 일치도 (objective match)를 66.0%에서 93.0%로, 사회적 일치도 (social match)를 68.5%에서 89.0%로 향상시켰으며, 평균 목표 격차 (mean objective gap)를 15.3%에서 3.5%로, 평균 사회적 격차 (mean social gap)를 7.6%에서 2.0%로 감소시켰습니다. 이러한 결과는 분산형 의사결정 루프 내에 배치된 생성된 최적화 에이전트의 경우, 정확성을 고립된 실행만으로 검증하기보다는 루프 자체 내에서 검증해야 함을 보여줍니다.