AI 에이전트에서 책임 있는 인간으로의 핸드오프(Handoff) 설계하기
요약
AI 에이전트가 복잡한 작업을 수행할 때 인간 전문가에게 업무를 넘기는 '핸드오프(Handoff)' 설계 방식을 다룹니다. 단순한 메시지 전달을 넘어 명확한 작업 정의, 소유자의 승인 절차, 그리고 상태 관리의 중요성을 강조합니다.
핵심 포인트
- 에스컬레이션은 작업 내용, 자격, 마감 기한 등을 포함한 명시적 계약이어야 함
- 에이전트는 결제나 개인 정보 노출 전 반드시 소유자의 승인을 거쳐야 함
- 요청, 매칭, 수락, 할당 등 각 단계를 별도의 상태로 관리하는 정교한 시스템 필요
공개 사항: 이 기사는 AI의 도움을 받아 초안을 작성하였으며, Provener 팀이 검토 및 편집하였습니다.
AI 에이전트(AI agents)는 다단계 디지털 작업을 완료하는 능력이 점점 더 향상되고 있습니다. 이제 어려운 경계선은 단순히 "모델이 답변을 생성할 수 있는가?"가 아닙니다. 그것은 해당 작업이 식별 가능하고, 자격을 갖추었으며, 책임을 질 수 있거나, 물리적으로 존재해야 하는 인간을 필요로 하는지의 여부입니다.
예시는 다음과 같습니다:
- 결정을 검토하는 면허를 가진 전문가;
- 전문적인 구현 사항을 승인하는 시니어 엔지니어 (senior engineer);
- 특정 역할의 관점에서 제품을 평가하는 숙련된 운영자 (operator);
- 물리적 장소에서 사실을 확인하는 사람.
에이전트는 종종 이러한 경계를 인식할 수 있습니다. 하지만 에이전트에게 대개 부족한 것은 그 경계를 넘어가기 위한 구조화된 방법입니다.
에스컬레이션 (Escalation)은 명시적인 계약이어야 합니다
유용한 에이전트-인간 핸드오프 (agent-to-human handoff)는 "전문가를 찾아주세요"라고 말하는 자유 형식의 메시지 그 이상이 필요합니다. 요청은 작업과 그 권한을 명확히 해야 합니다:
- 어떤 작업이 필요한가?
- 어떤 결과물 (deliverable)이 완료로 간주되는가?
- 어떤 자격이나 경험이 중요한가?
- 물리적 존재 (physical presence)가 필요한가?
- 마감 기한은 언제인가?
- 소유자가 실제로 승인한 예산은 얼마인가?
- 전문가는 어떤 증거를 반환해야 하는가?
- 상태 변경 사항은 어디로 전달되어야 하는가?
그러한 정보는 시스템이 잠재적인 매칭을 위한 충분한 문맥 (context)을 보존하면서, 단순한 관심사와 진정한 요청을 구분할 수 있게 해줍니다.
Provener의 얼리 액세스 (early-access) 요청 계약에는 카테고리, 작업 제목 및 설명, 마감 기한, 예산, 결제 능력, 위치, 전문가 프로필, 완료 증거, 요청자 및 선택적 콜백 (callback) 필드가 포함되어 있습니다.
소유자가 요청을 승인해야 합니다
에이전트는 독립적으로 개인적인 문맥 (private context)을 노출하거나, 돈을 지불하거나, 소유자가 거래를 승인했다고 나타내서는 안 됩니다.
제출하기 전에, 워크플로 (workflow)는 소유자가 다음 사항을 승인하는지 확인해야 합니다:
- 작업 세부 정보 및 선택적 연락처 정보 공유;
- 명시된 최대 예산;
- 실제 결제 경로의 존재 여부.
따라서 payment_capable: true는 “사용자가 결제할 수도 있음”보다 더 강력한 의미를 갖습니다. 이는 소유자가 명시된 금액까지의 결제를 승인했으며, 이를 정산할 현실적인 방법을 보유하고 있음을 의미합니다. 얼리 액세스 (early-access) 엔드포인트는 자금을 청구하거나 예약하지 않습니다.
Recorded, matched, and assigned는 서로 다른 상태입니다
인간 참여형 (human-in-the-loop) 시스템에서 가장 저지하기 쉬운 실수 중 하나는 요청 수락을 자격을 갖춘 사람이 사용 가능하다는 증거로 취급하는 것입니다.
Provener는 다음과 함께 HTTP 202를 반환합니다:
{
"request_id": "req_...",
"status": "received_pending_match",
...
received_pending_match는 그 의미 그대로를 나타냅니다: 요청이 유효하고 추적 가능하며, 잠재적 매칭을 기다리는 중이라는 뜻입니다. 이는 전문가가 작업을 수락했다는 것을 의미하지 않습니다.
완전한 조정 시스템 (coordination system)은 요청 (request), 자격 (qualification), 제안 (offer), 수락 (acceptance), 할당 (assignment), 완료 (completion), 그리고 증거 (evidence)를 별개의 상태로 유지해야 합니다. 이러한 구분은 에이전트에게 매우 중요한데, 각 상태가 서로 다른 다음 동작을 승인하기 때문입니다.
경계에서의 데이터 최소화
에이전트 워크플로 (workflow)는 인간의 요청이 요구하는 것보다 훨씬 더 많은 컨텍스트 (context)를 축적할 수 있습니다. 대화 전체, 리포지토리 (repository), 고객 기록 또는 자격 증명 (credential) 세트를 전달하는 것은 정당화되는 경우가 거의 없습니다.
제출하는 에이전트는 작업을 이해하고 자격을 검증하는 데 필요한 정보만을 보내야 합니다. 비밀 정보, 자격 증명, 비공개 소스 코드, 민감한 개인 데이터 및 승인되지 않은 제3자 정보는 요청에 포함되지 않아야 합니다.
얼리 액세스 서비스는 제출된 요청 필드, 유저 에이전트 (user-agent), 대략적인 국가, 그리고 원시 IP 주소를 저장하지 않고 반복 사용을 식별하는 데 사용되는 키 기반 호출자 지문 (keyed caller fingerprint)을 저장합니다. 기록은 180일 후에 삭제되도록 예약됩니다.
안전은 요청 경로에 포함되어야 합니다
인간으로의 에스컬레이션 (escalation)이 해롭거나 기만적인 작업을 외주화하는 수단이 되어서는 안 됩니다. 괴롭힘, 개인정보 침해, 자격 증명 탈취 (credential theft), 악성코드 (malware), 승인되지 않은 보안 테스트, 감시, 무단 침입, 허위 리뷰 또는 조작과 관련된 요청은 거부되어야 합니다.
도메인 특화 워크플로 (domain-specific workflows)에는 추가적인 제약 조건이 필요합니다. 예를 들어, 현장 검증 (field verification)은 제품 피드백보다 더 엄격한 위치 및 동의 규칙을 요구합니다.
네 가지 얼리 액세스 (early-access) OpenClaw 기술
Provener는 현재 네 가지 집중된 진입점을 제공합니다:
- 검증된 전문가 요청하기 (Request a Verified Expert)
- 전문가 제품 피드백 (Expert Product Feedback)
- 전문가 코드 리뷰 (Specialist Code Review)
- 현장 검증 (Field Verification)
요청 서비스는 또한 라이브 상태 엔드포인트 (live health endpoint)를 게시합니다.
이러한 집중된 기술들은 동일한 소유자 권한 부여 (owner-authorization) 및 추적 가능한 요청 모델을 공유하면서도, 각 워크플로에 대한 에스컬레이션 트리거 (escalation trigger)와 정책 경계를 더 명확하게 만듭니다.
얼리 액세스 기간 동안에는 매칭 및 검증된 전문가의 가용성이 보장되지 않습니다. 프로덕션 환경에 허위 또는 데모용 요청을 제출하지 마십시오.
더 넓은 비전은 provener.ai에서 확인할 수 있습니다.
에이전트 빌더 (agent builders)분들께 다음 한 가지 질문에 대한 피드백을 부탁드립니다:
어떤 관찰 가능한 신호 (observable signal)가 에이전트를 멈추게 하고, 소유자의 권한 부여를 요청하게 하며, AI 전용 작업에서 책임 있는 인간으로 에스컬레이션하게 만들어야 할까요?
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기