Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Bayesian-Agent는 LLM 에이전트의 기술과 SOP를 사후 확률 기반의 가설로 취급하여 최적화하는 새로운 프레임워크를 제안합니다. 검증된 궤적 증거를 바탕으로 사후 확률 상태를 관리하며, 이를 통해 모델 가중치 변경 없이도 에이전트의 성능을 비약적으로 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM 에이전트(LLM agents)는 프롬프트(prompts), 도구(tools), 메모리(memory), SOP(표준 운영 절차), 기술(skills), 그리고 하네스 피드백(harness feedback)과 같은 외부 추론 조건에 점점 더 많이 의존하고 있습니다. 이러한 자산들은 모델 가중치(model weights)를 변경하지 않고도 작업 실행 능력을 향상시킬 수 있지만, 종종 휴리스틱 성찰(heuristic reflection)에 의해 수정되거나, 단순히 횟수만이 신뢰할 수 있는 믿음인 것처럼 관찰된 성공과 실패를 재사용하는 방식으로 처리됩니다. 우리는 재사용 가능한 기술과 SOP를 특정 프롬프트, 컨텍스트(context), 그리고 하네스 환경(harness environment) 하에서 동결된 모델(frozen model)이 성공할지 여부에 대한 가설로 취급하는 네이티브 및 교차 하네스 프레임워크인 \textbf{Bayesian-Agent}를 소개합니다. Bayesian-Agent는 검증된 궤적 증거(trajectory evidence)를 기록하고, 각 기술에 대해 특징 조건부 범주형 사후 확률(feature-conditioned categorical posterior)을 유지하며, 사후 확률 상태를 패치(patch), 분할(split), 압축(compress), 은퇴(retire), 탐색(explore)과 같이 검사 가능한 행동으로 매핑합니다. 모델 대상 프롬프트는 실행 가능한 가드레일(guardrails)과 실패 모드 패치(failure-mode patches)를 전달받으며, 사후 확률 요약(posterior summaries)은 감사를 위해 계속 사용할 수 있습니다. \texttt{deepseek-v4-flash}를 사용했을 때, 점진적 수리(incremental repair)를 통해 SOP-Bench는 80%에서 95%로, Lifelong AgentBench는 90%에서 100%로, RealFin-Bench는 45%에서 65%로 향상되었습니다. 우리는 더 나아가 Bayesian-Agent의 네이티브 백엔드와 선택 사항인 GenericAgent, mini-swe-agent, 그리고 Claude Code 백엔드를 평가했습니다. 결과에는 긍정적, 부정적, 포화(saturated) 및 사례 연구 설정이 포함되며, 이는 에이전트 기술 진화가 보정되지 않은 프롬프트 축적(uncalibrated prompt accumulation)보다는 사후 확률 가이드 기반의 하네스 최적화(posterior-guided harness optimization)로 보는 것이 가장 적절함을 시사합니다. 소스 코드는 https://github.com/DataArcTech/Bayesian-Agent 에서 확인할 수 있습니다.