SAGE: 에이전트 유도 탐색을 통한 확률적 프롬프트 최적화

컨텍스트 엔지니어링 (Context engineering)은 파라미터 업데이트 없이 AI 시스템을 개선하기 위한 주요 레버로 부상했습니다. 텍스트 그래디언트 (textual gradients)가 실제 그래디언트처럼 작동하지 않는다는 최근의 연구 결과는 자동 프롬프트 최적화 (APO, automatic prompt optimization)를 블랙박스 탐색 (black-box search)으로 취급하도록 동기를 부여합니다. 우리는 프롬프트 공간에 대한 확률적 탐색을 위한 프레임워크인 SPO (Stochastic Prompt Optimization, 확률적 프롬프트 최적화)를 소개하며, 정교함이 증가하는 세 가지 전략을 비교합니다: 오류 정보 기반 랜덤 탐색 (error-informed random search), 진화 연산자를 사용하는 유전 알고리즘 (genetic algorithm), 그리고 진단 코드 실행을 포함하는 멀티 에이전트 파이프라인인 SAGE (SPO via Agent-Guided Exploration, 에이전트 유도 탐색을 통한 SPO)입니다. 세 가지 벤치마크 전반에 걸쳐 단일 전략이 압도적이지는 않았으며, 효과는 지형 구조 (landscape structure)와 오류 유형 (error type) 간의 상호작용에 따라 달라집니다. 나아가 우리는 연속적 최적화 패러다임 하에서 정신 건강 챗봇에 SAGE를 배치하였으며, 여기서 SAGE는 개별적으로 노이즈가 있는 8회의 A/B 테스트 사이클을 결합하여 익일 유지율 (next-day retention)의 통계적으로 견고한 이득을 만들어냈습니다. 우리는 질적 진단 (qualitative diagnosis)과 양적 검증 (quantitative validation)을 결합하는 것이 개방형 작업 지향 대화 (open-ended task-oriented dialogue)에 대해 에이전트 기반 최적화 (agentic optimization)를 효과적으로 만드는 핵심이라고 주장합니다.