팀에서 "AI가 답장을 처리하도록 하고 싶다"고 말할 때, 그들은 두 가지 다른 것을 의미할 수 있습니다. 하나는 AI가 답장 내용을 작성하는 것이고, 다른 하나는 AI가 실제로 발송하는 것입니다. 전자는 초안 작성 도구(drafting tool)이며, 후자는 사용자를 대신하여 행동하는 에이전트(agent)입니다. 이 둘은 매우 다른 위험을 내포하고 있으므로, 어떤 것을 구축할지 결정한 후에 무언가를 만들기 것이 좋습니다.
경계가 중요한 이유
초안은 대기열(queue)에 머무릅니다. 사람이 이를 읽고, 어조를 수정하며, 잘못된 세부 사항을 교정하여 전송합니다. 만약 초안이 나쁘다면, 비용은 몇 초의 편집 시간 정도입니다.
하지만 발송된 답장은 이미 통제할 수 없는 영역에 있습니다. 만약 잘못된 가격을 인용하거나, 아무도 동의하지 않은 날짜를 약속하거나, 엉뚱한 사람에게 전송했다면, 이를 되돌릴 수 없습니다. 누군가는 이제 두 번째 메시지를 작성해야 하며, 이 메시지는 첫 번째보다 더 어렵습니다.
모델은 두 경우 모두에서 같은 실수를 할 수 있습니다. 달라지는 것은 사람이 그 실수를 잡아낼 기회를 얻는지 여부입니다.
가상 예시
이것은 고객 작업에 대한 것이 아니라 데모 시나리오입니다. 예를 들어, 작은 장비 공급업체가 공유 받은 편지함으로 부품 관련 질문을 받았다고 가정해 봅시다. 워크플로우는 다음과 같이 제한됩니다:
- 새 이메일이 도착하고 AI가 이를 읽습니다.
- AI는 읽기 전용(read-only) 카탈로그에서 해당 부품 정보를 조회합니다.
- AI는 초안 답장을 작성하고 사용한 카탈로그 행을 첨부합니다.
- 초안은 검토 폴더에 도착합니다. 사람이 이를 전송하거나, 편집하거나, 폐기합니다.
AI에게는 발송 권한이 없습니다. 조회 과정 역시 읽기 전용입니다. 사람은 초안 옆에서 출처를 볼 수 있으므로, 검색하는 데 2초가 걸릴 것이 아니라 몇 초 만에 확인이 가능합니다.
설정할 가치가 있는 점검 사항들
내부적이고 규제가 없는 작업이라 하더라도, 받은 편지함에는 고객 이름과 연락처 세부 정보가 포함되어 있습니다. 이들은 주의를 기울여야 합니다.
AI가 읽을 수 있는 범위를 해당 작업에 필요한 최소한의 범위로 제한해야 합니다. 조회는 항상 읽기 전용으로 유지하세요. 만약 워크플로우가 MCP(Message Control Protocol)를 통해 연결된다면, 서버가 노출하는 도구들을 확인하고 그중 어떤 것이 발송, 작성 또는 삭제할 수 있는지 살펴보세요. 초안 단계에는 필요한 권한만을 부여해야 합니다.
무엇이 초안되었는지, 무엇이 변경되었는지, 그리고 무엇이 전송되었는지를 기록(log)하세요. 이 기록은 나중에 초안들이 신뢰하기에 충분히 좋은지 여부를 알려줄 것입니다.
전송 단계로의 이동
어떤 답장은 메시지를 받았다는 고정된 확인 응답과 같이, 나중에 자동으로 보내도 안전할 수 있습니다. 이는 초안을 오랫동안 관찰한 후에 내리는 좁은 범위의 별도 결정입니다.
초안부터 시작하세요. 전송 버튼은 사람과 함께 유지하세요. 증거가 뒷받침될 때만 범위를 넓히세요.
저는 Jonathan Melton입니다. 저는 FusionAL을 운영하며, 낮은 위험도의 내부 AI 워크플로우를 하나씩 경계가 지정된(bounded) 방식으로 검토하고 통합하는 데 중점을 두고 있습니다.