Bayesian-Agent: LLM 에이전트 하네스(Harness)를 위한 사후 확률 가이드 기반 기술 진화

LLM 에이전트(LLM agents)는 프롬프트(prompts), 도구(tools), 메모리(memory), SOP(표준 운영 절차), 기술(skills), 그리고 하네스 피드백(harness feedback)과 같은 외부 추론 조건에 점점 더 많이 의존하고 있습니다. 이러한 자산들은 모델 가중치(model weights)를 변경하지 않고도 작업 실행 능력을 향상시킬 수 있지만, 종종 휴리스틱 성찰(heuristic reflection)에 의해 수정되거나, 단순히 횟수만이 신뢰할 수 있는 믿음인 것처럼 관찰된 성공과 실패를 재사용하는 방식으로 처리됩니다. 우리는 재사용 가능한 기술과 SOP를 특정 프롬프트, 컨텍스트(context), 그리고 하네스 환경(harness environment) 하에서 동결된 모델(frozen model)이 성공할지 여부에 대한 가설로 취급하는 네이티브 및 교차 하네스 프레임워크인 \textbf{Bayesian-Agent}를 소개합니다. Bayesian-Agent는 검증된 궤적 증거(trajectory evidence)를 기록하고, 각 기술에 대해 특징 조건부 범주형 사후 확률(feature-conditioned categorical posterior)을 유지하며, 사후 확률 상태를 패치(patch), 분할(split), 압축(compress), 은퇴(retire), 탐색(explore)과 같이 검사 가능한 행동으로 매핑합니다. 모델 대상 프롬프트는 실행 가능한 가드레일(guardrails)과 실패 모드 패치(failure-mode patches)를 전달받으며, 사후 확률 요약(posterior summaries)은 감사를 위해 계속 사용할 수 있습니다. \texttt{deepseek-v4-flash}를 사용했을 때, 점진적 수리(incremental repair)를 통해 SOP-Bench는 80%에서 95%로, Lifelong AgentBench는 90%에서 100%로, RealFin-Bench는 45%에서 65%로 향상되었습니다. 우리는 더 나아가 Bayesian-Agent의 네이티브 백엔드와 선택 사항인 GenericAgent, mini-swe-agent, 그리고 Claude Code 백엔드를 평가했습니다. 결과에는 긍정적, 부정적, 포화(saturated) 및 사례 연구 설정이 포함되며, 이는 에이전트 기술 진화가 보정되지 않은 프롬프트 축적(uncalibrated prompt accumulation)보다는 사후 확률 가이드 기반의 하네스 최적화(posterior-guided harness optimization)로 보는 것이 가장 적절함을 시사합니다. 소스 코드는 https://github.com/DataArcTech/Bayesian-Agent 에서 확인할 수 있습니다.