지식 기반 도구 사용 워크플로우 내 AI 에이전트를 위한 선언적 기술 (Declarative Skills)

우리는 비정형 지식 베이스(unstructured knowledge base)를 활용하는 현실적인 고객 서비스 워크플로우에서 도구를 사용하는 AI 에이전트의 오케스트레이션(orchestration) 메커니즘을 연구합니다. 우리는 시스템 프롬프트(system prompt)에 자연어 기술 파일(skill files)이 첨부된 선언적 에이전트(declarative agents)가 효과적인 오케스트레이션 패러다임이라고 주장합니다. 구체적으로, 우리는 다음 세 가지를 비교합니다: (i) 추론 시점에 세 개의 도메인 특화 기술 파일을 읽고 스스로 제어 흐름(control flow)을 결정하는 DeclarativeAgent, (ii) 명시적인 단계(phases)를 가진 프로그래밍 방식의 상태 머신(state machine)에 기반한 ImperativeAgent, (iii) $\tau$-Knowledge 벤치마크 에이전트를 모델로 한 스캐폴딩이 없는(unscaffolded) 베이스라인 에이전트. 우리의 ImperativeAgent는 Recursive Language Models 및 그래프 기반 오케스트레이션 프레임워크에서 볼 수 있는 외부화된 제어 추론(externalised-control inference)에서 영감을 얻었습니다. 우리는 이 세 가지 에이전트를 분산형 부분 관측 마르코프 결정 과정(decentralised partially-observable Markov decision process) 내의 정책 클래스(policy classes)로 공식화하고, 이들의 정보 이론적(information-theoretic) 및 구조적 특성을 분석합니다. 그런 다음 다섯 가지 언어 모델(language models)과 두 가지 검색 체제(retrieval regimes)에서 예측된 차이점을 경험적으로 테스트합니다. 연구 결과, 검색 품질(retrieval quality)이 AI 에이전트의 주요 병목 현상임을 보여줍니다. 증거가 불완전하거나 편향된 경우, 모든 에이전트의 성능이 크게 저하되며 기술 파일은 손실된 성능을 회복할 수 없습니다. 그러나 고품질 검색 환경에서는 선언적 기술(declarative skills)이 절차적 작업(procedural tasks)의 정확도를 일관되게 향상시키고 오케스트레이션 오류를 줄이는 반면, 명령형 상태 머신(imperative state machine)의 취약성(brittleness)은 작업 성공률이나 준수(compliance)를 안정적으로 개선하지 못했습니다.