Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
프롬프트 최적화를 위한 확률적 탐색 프레임워크인 SPO와 에이전트 유도 탐색 방식인 SAGE를 제안합니다. SAGE는 멀티 에이전트 파이프라인을 통해 프롬프트 공간을 탐색하며, 실제 챗봇 서비스 적용 시 사용자 유지율을 높이는 성과를 보였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기컨텍스트 엔지니어링 (Context engineering)은 파라미터 업데이트 없이 AI 시스템을 개선하기 위한 주요 레버로 부상했습니다. 텍스트 그래디언트 (textual gradients)가 실제 그래디언트처럼 작동하지 않는다는 최근의 연구 결과는 자동 프롬프트 최적화 (APO, automatic prompt optimization)를 블랙박스 탐색 (black-box search)으로 취급하도록 동기를 부여합니다. 우리는 프롬프트 공간에 대한 확률적 탐색을 위한 프레임워크인 SPO (Stochastic Prompt Optimization, 확률적 프롬프트 최적화)를 소개하며, 정교함이 증가하는 세 가지 전략을 비교합니다: 오류 정보 기반 랜덤 탐색 (error-informed random search), 진화 연산자를 사용하는 유전 알고리즘 (genetic algorithm), 그리고 진단 코드 실행을 포함하는 멀티 에이전트 파이프라인인 SAGE (SPO via Agent-Guided Exploration, 에이전트 유도 탐색을 통한 SPO)입니다. 세 가지 벤치마크 전반에 걸쳐 단일 전략이 압도적이지는 않았으며, 효과는 지형 구조 (landscape structure)와 오류 유형 (error type) 간의 상호작용에 따라 달라집니다. 나아가 우리는 연속적 최적화 패러다임 하에서 정신 건강 챗봇에 SAGE를 배치하였으며, 여기서 SAGE는 개별적으로 노이즈가 있는 8회의 A/B 테스트 사이클을 결합하여 익일 유지율 (next-day retention)의 통계적으로 견고한 이득을 만들어냈습니다. 우리는 질적 진단 (qualitative diagnosis)과 양적 검증 (quantitative validation)을 결합하는 것이 개방형 작업 지향 대화 (open-ended task-oriented dialogue)에 대해 에이전트 기반 최적화 (agentic optimization)를 효과적으로 만드는 핵심이라고 주장합니다.