상주 AI 에이전트의 '실행 권한' 설계 체크리스트

요약

상주 에이전트에게 외부 API 호출 등 부작용을 수반하는 '쓰기' 권한을 부여할 때, 모델의 정확도보다 피해를 한정시키는 설계가 중요합니다. 따라서 툴 실행 계층에서 인자 유효성 검사 및 권한 강제를 수행하고, 위험 작업에는 Human-in-the-Loop(HITL)를 적용해야 합니다.

핵심 포인트

• 쓰기 도구는 부작용이 크므로 정확도보다 피해 한정 설계가 핵심입니다.
• LLM의 출력은 '의도'일 뿐이며, 권한 검사는 시스템 측 툴 실행 계층에서 해야 합니다.
• 위험 작업은 취소 가능 여부와 영향 범위를 기준으로 분류하고 HITL을 적용해야 합니다.
• 툴 실행 로그는 LLM 로그와 독립적으로 기록하여 신뢰성을 확보해야 합니다.