Bees에서 AI 에이전트의 작업을 거부하면 어떻게 될까요

대부분의 에이전트 도구는 결과가 잘못되었을 때 두 가지 선택지를 제공합니다. 처음부터 다시 시작하거나, 프롬프트를 수정하고 기대하는 것입니다. 우리는 자체 컴퓨터에서 AI 에이전트 팀을 실행하는 오픈 소스 데스크톱 앱인 Bees를 위해 그 중간 지점을 원했습니다.

모든 목표에는 검토자가 있습니다

Bees의 목표는 '작업(Work)', '검토(Review)', '완료(Done)'의 세 단계를 거칩니다. 작업 에이전트가 작업을 수행합니다. 그런 다음 새로운 검토자 에이전트가 결과를 확인합니다. 이 검토자는 목표, 산출물 및 Bees가 기록한 증거는 받지만, 작업자의 개인적인 추론 과정은 받지 않으므로 스스로 결과를 판단합니다.

만약 결과가 미흡하면, 검토자는 동일한 항목을 구체적인 피드백과 함께 '작업' 단계로 다시 보냅니다. 그리고 다음 시도는 이전 출력물과 메모를 모두 확인하게 됩니다. 재시도 횟수는 제한됩니다. 계속 실패하는 목표는 밤새 루프에 빠지는 대신 '주의 필요(Needs your attention)' 상태에서 중단됩니다.

또한 사용자가 직접 이 루프에 참여할 수 있습니다. 목표나 특정 단계가 사용자 검토를 요청할 수 있으며, 그러면 사용자는 '승인(Approve)' 또는 **'거부(Reject)'**를 하게 됩니다. 거부를 하려면 이유가 필요합니다.

이유는 범위를 가집니다

이 부분이 가장 중요하다고 생각합니다. 일회성 목표의 경우, 제공하는 이유는 에이전트에게 수정 요청을 보내는 데 사용되며 다른 것은 전혀 변경되지 않습니다.

예를 들어 주간 지원 브리핑과 같은 예약된 작업의 경우, Bees는 이유가 어디에 적용되어야 하는지 묻습니다:

• 이번 실행만(This run only): 에이전트는 이번 실행을 수정하고 미래의 실행은 이전과 동일하게 작동합니다.
• 향후 예약 실행(Future schedule runs): 제공된 이유는 해당 작업의 플레이북에도 추가됩니다.

그 플레이북은 특정 전문가에게 속합니다. 에이전트가 이름이 지정된 일정을 처리하는 첫 번째 경우, Bees는 그 쌍을 위한 전문가를 생성합니다. 이는 기본 에이전트를 상속받고 작업별 노트만 추가할 뿐입니다. 따라서 다음과 같은 교훈은:

Do not count auto-replies as customer conversations.

지원 브리핑에 고정됩니다. 이 에이전트가 수행하는 다른 모든 일로 새어 나가지 않습니다.

하지 않는 것들

• 일회성 목표는 미래의 행동을 절대 변경하지 않습니다.
• 검토자는 작업자를 수정할 수 없습니다.
• 점수 때문에 아무것도 변경되지 않습니다.
• 거부 사항이 조직 전체의 기본 에이전트를 변경하지 않습니다.

도구 액션(tool action)을 거부하는 것과 작업 자체를 거부하는 것은 별개입니다. 만약 에이전트가 이메일을 보내는 것을 거부한다면, 이는 현재 시점에서의 권한 요청일 뿐이며 규칙으로 변하지 않습니다.

확인하고 되돌릴 수 있습니다

**프로세스 실행(Process Runs) → 스케줄(Schedules)**에서 각 전문가는 플레이북(playbook), 개정 번호(revision number), 그리고 각 변경 사항이 어디서 왔는지에 대한 기록을 보여줍니다. 그 출처는 사용자의 피드백, 수동 편집, 되돌리기(undo), 또는 재설정입니다. 사용자는 이를 편집하거나, 마지막 변경 사항을 되돌리거나, 비우고 기본 에이전트로 돌아갈 수 있습니다.

저희가 자동 학습보다 이것을 선택한 데는 간단한 이유가 있었습니다. '잘못된 결과'는 잘못된 규칙을 만들고, 볼 수 없는 규칙은 더 나쁩니다. 사람에 의해 작성되고, 특정 작업에 한정된 구체적인 이유는 나중에 확인할 수 있는 것이기 때문입니다.

Bees는 무료 오픈 소스(MIT 또는 Apache 2.0)입니다. 버전 0.2.0은 Mac, Windows 및 Linux에서 사용 가능하며, 자체 Codex 또는 Claude Code 구독, 호스팅 모델, 또는 로컬 모델을 통해 실행됩니다.

• 다운로드: https://bees.bot/download/
• 코드: https://github.com/Bees-bot/bees-desktop
• 리뷰 루프 작동 방식: https://bees.bot/help/loop-engineering
• 전문가 및 플레이북: https://bees.bot/help/self-improving-agents