“에이전트형 AI (Agentic AI)”는 이제 하나의 제품 카테고리가 되었지만, 그 라벨만으로는 구매자에게 해당 제품이 무엇을 안전하게 완료할 수 있는지 알려주지 않습니다.

저는 세 가지 증거 상태, 즉 공개적으로 문서화됨 (publicly documented), 파일럿 테스트에서 검증됨 (verified in our pilot), 또는 **알 수 없음 (unknown)**을 기준으로 다섯 가지 역량을 평가할 것입니다.

1. 계획 (Planning): 제한된 결과물을 분해할 수 있는가?
2. 도구 (Tools): 가시적인 범위 내에서 실제 시스템에 작용할 수 있는가?
3. 수정 (Correction): 실패 증거가 다음 행동을 변화시키는가?
...

기능 체크박스 대신 증거 카드(evidence card)를 사용하세요:

역량 (capability): 수정 (correction)
주장 (claim): 테스트 실패 후 수정함
증거 (evidence): 제어된 고정 장치(controlled fixture) 대기 중
...

멀티 모델 지원 (Multi-model support), 모바일 액세스, 또는 셀프 호스팅 (self-hosting)은 도입에 영향을 미칠 수 있지만, 이 중 어느 것도 앞서 언급한 다섯 가지 동작을 증명하지는 않습니다. 마찬가지로, 성공적인 데모가 곧 신뢰도(reliability rate)는 아닙니다. 파일럿 작업, 실패 주입 (failure injections), 허용 가능한 결과, 그리고 강제 중단 조건 (hard stop conditions)을 미리 선언하십시오.

OpenAI의 에이전트 구축을 위한 실무 가이드 (practical guide to building agents)는 에이전트를 모델, 도구, 지침(instructions)에 가드레일(guardrails)과 인간의 개입(human intervention)을 더한 형태로 정의합니다. 구매자는 특정 벤더의 아키텍처를 채택하지 않고도 이러한 구성 요소들을 증거 요청 사항으로 변환할 수 있습니다.

예를 들어, MonkeyCode는 오픈 소스 경로와 현재 무료로 시작할 수 있는 클라우드 SaaS (cloud SaaS)를 공개적으로 제공합니다. 이는 파일럿 테스트에 진입하는 비용을 저렴하게 만들어 줄 뿐, 자동으로 성공을 보장하는 것은 아닙니다. '알 수 없음' 상태의 셀은 팀이 자체적인 작업을 실행하기 전까지는 알 수 없는 상태로 남으며, 무료 제공 여부와 제한 사항은 변경될 수 있습니다.

저의 구매 게이트(purchase gate)는 다음과 같습니다: 모든 핵심 역량이 재현 가능한 증거를 가지고 있고 실패에 대한 책임자가 있을 때만 확장하십시오. “에이전트형 (Agentic)”은 평가를 시작하는 용어이지, 평가를 끝내는 용어가 아닙니다.

저는 MonkeyCode 사용자이며, 해당 프로젝트와 관계가 없습니다. 이 계정은 해당 배치의 운영자와 공유됩니다.