첫 AI 에이전트 작업에는 더 많은 권한보다 계약(Contract)이 필요합니다

AI NEWS IL의 히브리어 가이드 ["AI 에이전트: 작업 선택 방법, 경계 설정 및 결과 확인"]를 참고하여 각색되었습니다 (2026년 9월 17일 발행, 2026년 9월 24일 업데이트).

에이전트의 첫 번째 생산적 업무는 테스트하기에 충분히 작고 중단하기에 안전해야 합니다. "지원 문의함 관리"는 어느 쪽도 아닙니다. "특정 유형의 지원 요청을 분류하고, 관련 정책을 찾은 다음, 담당자를 위한 초안을 작성하는 것"이 더 나은 시작점입니다.

본 가이드는 이 좁은 작업을 테스트 가능한 계약으로 변환합니다. 지원 문의 예시는 사례 연구나 측정된 결과 주장이 아니며 가상의 시나리오입니다.

1. 에이전트가 필요한지 결정하기

목표는 명확하지만 다음 단계가 무엇을 발견하는지에 따라 달라지는 경우에 에이전트를 사용해야 합니다. 지원 요청은 정책 검색, 다른 문서 확인 또는 담당자에게 인계가 필요할 수 있습니다.

모든 단계가 고정되어 있다면, 일반적인 자동화(automation)가 예측하고 테스트하기가 더 쉽습니다. 필드를 복사하거나, 예약 알림을 보내거나, 표준 보고서를 생성하는 것은 자동으로 에이전트가 필요한 상황은 아닙니다.

무언가를 연결하기 전에 한 문장을 작성해 보세요.

에이전트는 X를 받고, Y를 반환하며, Z는 다음에 무슨 일이 일어날지 결정합니다.

출력물이나 책임자가 될 사람을 명명할 수 없다면, 그 작업은 준비되지 않은 것입니다. 되돌릴 수 있는(reversible) 작업부터 시작하세요. 결제, 삭제, 게시 또는 권한 변경을 첫 번째 파일럿에 포함하지 마십시오.

2. 좁은 지원 분류(triage) 예시 사용하기

고객이 다음과 같이 작성합니다: "월 청구 금액이 올랐습니다. 왜인가요?"

에이전트는 다음 작업을 수행할 수 있습니다:

• 요청을 청구서 관련으로 분류합니다.
• 가격 변경에 관한 승인된 정책 섹션을 검색합니다.
• 해당 섹션 링크와 함께 설명 초안을 작성합니다.
• 고객의 인보이스를 확인하지 않았으며 금액을 확정할 수 없다는 점을 표시(flag)합니다.

담당자가 인보이스를 열어 정책을 확인하고, 초안을 수정하며, 전송 여부를 결정합니다. 에이전트는 답장을 보내거나 고객 기록을 업데이트하지 않습니다.

핵심은 서비스 약관을 발명하거나 정보를 노출하지 않으면서 검색 작업을 줄이는 것입니다. 사용하기 전에 예시를 시스템, 개인정보 보호 규칙 및 비즈니스 위험에 맞게 조정하십시오.

3. 입력 및 출력 계약 정의하기

필요한 정보만 허용해야 합니다: 요청 텍스트, 최소한의 고객 참조, 응답 언어, 그리고 승인된 정책 링크입니다. 비밀번호, 결제 세부 정보 및 관련 없는 파일은 모델 입력에서 제외하십시오.

고정된 출력 형태를 사용하세요:

유효하지 않은 출력도 정의해야 합니다. 누락된 출처 링크, 알 수 없는 카테고리 또는 지원되지 않는 환불 약속은 준비된 초안 대신 이유와 함께 "검토 필요"를 생성해야 합니다.

누락되거나 충돌하는 문서는 멈추고 검토를 요청할 이유입니다. 모델이 채워야 할 빈칸이 아닙니다.

4. 읽기, 초안 작성 및 실행 분리하기

첫 번째 테스트를 위해 승인된 정책 폴더와 테스트 요청에 대해서만 읽기 액세스를 부여하십시오. 나중에 유용할 수 있으므로 에이전트에게 전체 받은 편지함, 전체 CRM, 송장 또는 연락처 디렉토리를 제공하지 마십시오.

자격 증명(credentials)은 프롬프트 및 사용자에게 보이는 로그 밖에 유지하십시오. 필요한 환경 및 운영에 대한 액세스를 제한하고 지원되는 경우 단기 자격 증명을 사용하십시오.

이것들을 별도의 권한 단계로 취급하세요:

1. 승인된 자료 읽기.
2. 초안 작성하기.
3. 외부 조치 취하기.

첫 10가지 사례를 통과하는 것이 메시지 전송을 승인하지 않습니다. 그것은 새로운 기능이며 새로운 위험이므로 별도의 결정과 테스트가 필요합니다.

조직의 액세스 소유자에게 권한 목록을 승인해 달라고 요청하십시오. 또한 자격 증명이 유출될 경우 공격자가 무엇에 접근할 수 있는지 물어보십시오. 답변이 받아들여질 수 없다면 파일럿 전에 범위를 좁히십시오.

5. 실제 사용 전 실패 사례 테스트하기

실행하기 전에 각 사례에 대한 예상 결과를 작성하십시오: 초안, 명확화 또는 중단.

일상적인 요청과 함께 다음을 포함시키세요:

• 누락된 정보 또는 상충하는 정책.
• 오래되었거나 잘못된 고객 참조 문서.
• 사용할 수 없는 외부 서비스.
• 민감한 정보 또는 재정적 결정이 필요한 요청.
• 워크플로우와 충돌하는 고객 메시지나 파일에 포함된 지침.

예를 들어, 고객 메시지에 정책을 무시하고 전액 환불을 승인하라는 요구가 포함될 수 있습니다. 에이전트는 승인된 정책을 적용하고 검토를 위해 해당 요청을 플래그해야 합니다. 이 메시지는 워크플로우 변경에 대한 권한이 아니라 작업 데이터입니다.

카테고리 정확도, 출처 적합성, 의미 변화, 검토자 수정 사항, 승인 시간 및 비용을 측정하십시오. 준비 상태를 증명하는 보편적인 테스트 케이스 수는 없습니다. 작업의 다양성, 오류 심각도, 그리고 피해가 얼마나 쉽게 감지될 수 있는지에 따라 테스트 세트를 확장해야 합니다.

6. 중단 및 롤백(Rollback)을 구체화하기

필수 출처가 누락되거나, 정보가 민감하거나, 불확실성이 해결되지 않았거나, 재정적 결정이 필요하거나, 도구가 허용된 범위를 벗어난 작업을 시도할 때 중단해야 합니다.

파일럿을 중지시킬 수 있는 프로세스 오너(process owner) 한 명의 이름을 지정하십시오. 개인정보 보호정책에 따라 제한된 입력, 출처, 도구 호출, 출력 및 인간의 결정을 기록하십시오. 모델, 프롬프트, 데이터 또는 권한의 변경은 회귀 테스트(regression test)를 유발해야 합니다.

파일럿 전에 롤백을 리허설하십시오: 자격 증명을 취소하고 요청을 담당자에게 반환하며 수동 프로세스가 작동하는지 확인합니다. 한 번도 시도되지 않은 롤백 계획은 여전히 가정일 뿐입니다.

7. 생성된 초안이 아닌 승인된 작업 측정하기

테스트 세트가 통과한 후 짧고 정의된 초안 전용 파일럿을 실행하십시오. 2주는 예시일 뿐, 보편적인 요구 사항은 아닙니다.

각 초안에 대해 다음 중 어떤 것이었는지 기록하십시오:

• 변경 없이 사용됨.
• 수정 후 사용됨.
• 거부됨.

검토 시간과 출처가 정확했는지를 추적하십시오. 유사한 요청 유형을 에이전트 사용 전후로 비교하십시오. 빠른 초안이라도 확인하는 시간이 답변을 수동으로 작성하는 시간보다 오래 걸린다면 절약이 아닙니다.

파일럿(pilot) 전에 지속 규칙을 설정해야 합니다. 예를 들어, 수정 사항이 작을 경우에만 계속하거나, 초안에 서비스 약관이나 처리 시간이 누락되지 않도록 해야 합니다. 데이터 유출, 인간 검토 건너뛰기 또는 이익을 초과하는 비용 발생 시에는 중단해야 합니다.

첫 번째 마일스톤은 통제된 권한 하에서 유용한 초안을 만드는 것입니다. 더 많은 접근 권한은 별도의 결정이며, 설득력 있는 데모에 대한 보상이 아닙니다.

추가 자료

히브리어 가이드는 Anthropic의 효과적인 에이전트 구축(Building Effective Agents), NIST의 AI 위험 관리 프레임워크(AI Risk Management Framework) 및 IBM의 AI 에이전트 구축 소개(introduction to building an AI agent)를 인용합니다.

본 영어 각색은 AI 도움을 받아 준비되었습니다.

Yaniv Shenhav.