출시 게시물들은 도구가 무엇을 할 수 있는지 말합니다. 하지만 이 글은 우리가 실제로 실행한 과정, 실제 수치와 잘못된 부분까지 보여줍니다.
Bees는 Bluesky, dev.to, Substack 및 몇몇 포럼과 긴 목록의 디렉터리에 브랜드 계정을 가지고 있습니다. 이 모든 곳을 수동으로 관리하는 것은 실수가 발생하기 쉬운 종류의 작업입니다. 그래서 10월 7일에 저희가 이를 Bees 프로세스에 맡겼습니다.
구축 과정
저희는 Ask Bees에 원하는 결과를 입력했습니다. 즉, Bees가 계정을 가진 모든 곳을 확인하고, 우리에게 답장한 사람들에게 답변하며, Bees 계정으로서 몇 가지 관련 대화에 참여하되 일일 제한 내에서 활동하도록 했습니다.
Bees는 세 개의 에이전트와 네 단계로 구성된 프로세스를 제안했습니다:
- 사이트 확인 (Check sites). 사이트 검사기(site checker)가 Bees 계정으로 30개의 모든 장소를 열어봅니다. 어느 곳에 로그인했는지, 누가 답변을 기다리는지, 그리고 하루에 몇 가지 행동이 남았는지를 기록합니다.
- 참여 (Engage). 게시자(poster)가 먼저 답장에 응답합니다. 그런 다음 일일 할당량 중 남은 것을 사용하여 '좋아요', 댓글 및 질문 답변 활동을 합니다.
- 감사 로그 (Audit log). 별도의 검토자가 게시자의 자체 로그가 아닌 공개 페이지의 모든 활동을 다시 엽니다.
- 완료 (Done).
이 에이전트들은 브라우저, 개발자 도구 및 웹 페처(web fetcher)를 받습니다. 스케줄러는 카트만두 시간으로 오전 9시와 오후 6시에 새로운 실행을 시작합니다.
규칙은 코드에 넣기보다 목표 설정과 에이전트 지침에 포함되었습니다:
- 하루에 사이트당 최대 5가지 활동이며, 두 번의 실행에서 공유됩니다.
- 디렉터리 및 목록은 관찰만 합니다. Reddit, LinkedIn, Hacker News에서는 절대 게시하지 않으며, 대신 사람을 위해 본 것을 기록합니다.
- Bees에 대한 주장은 짧은 사실 파일(short facts file)에서만 오며, 대부분의 답변에는 링크가 없습니다.
- 답할 가치가 없는 경우에도 모든 사이트는 실행당 하나의 로그 라인을 받습니다.
첫 번째 실행 결과
AI 에이전트의 플랫폼별 작동 로그 및 개선 과정
10월 7일, 첫 번째 시도, 27분 소요. Bluesky, dev.to, Substack 전반에 걸쳐 총 12건의 공개 액션을 수행했습니다. 로컬 에이전트(local agents)와 에이전트 보안(agent security) 관련 게시물에 '좋아요'를 누르고, dev.to에는 저희가 Bees 작업을 진행 중이라는 댓글을 달았습니다. 또한 할 수 없었던 부분도 보고했습니다. Bluesky는 Bees가 답글을 작성하기 전에 계정 이메일 인증을 요구했고, Hashnode에서는 저희의 세 개 게시물을 삭제했습니다. 에이전트는 자체적으로 인증 이메일을 보내거나 항소(appeal)를 제기하지 않았고, 이 두 가지 모두 저희에게 남겨두었습니다.
10월 8일, 검토자가 반려 처리함. 작성자는 "이번 실행에서 도달하지 않음"을 이유로 Substack 건을 건너뛰었습니다. 검토자는 이것이 로그인된 사이트를 건너뛸 만한 이유가 아니라고 지적하며, 구체적으로 해야 할 일을 나열했습니다: Substack에 접속하여 미처리된 답변이 있는지 확인하고, 주제와 관련된 스레드를 찾거나, 없다면 그 이유를 작성해야 합니다. 작성자는 돌아가서 이를 수행했고, 두 번째 검토는 통과되었습니다. 전체 실행 시간은 49분이 걸렸습니다.
10월 8일 저녁, 더 저렴한 모델을 사용해 22분 소요, 인간의 개입 없음. 저희는 에이전트를 DeepSeek V4 Flash로 이동시켰습니다. 이 실행은 저희가 클릭할 필요 없이 시작부터 완료까지 진행되었습니다. 검토자의 메모가 저희가 가장 신뢰하는 부분입니다. 에이전트는 우리의 Bluesky '좋아요'가 해당 게시물에 유일한 것인지, 그리고 답글 텍스트가 로그와 단어 하나 틀리지 않게 일치했는지 확인했습니다. 또한 확인할 수 없었던 부분도 언급했습니다: Substack은 누가 노트를 '좋아요' 했는지 보여주지 않기 때문에, 두 개의 '좋아요'는 작성자의 말에 달려 있습니다.
문제점
- 모든 모델이 통과한 것은 아닙니다. 이 성공적인 실행에 앞서 같은 저녁에 세 번의 다른 시도를 했습니다. DeepSeek V4 Pro에서 한 번은 제공업체 오류로 첫 단계에서 실패했습니다. 나머지 두 가지는 저희가 직접 중단했습니다.
- 일부 사이트는 에이전트를 문 앞에서 막습니다. 두 포럼은 봇 검사를 거치고, 한 사이트는 계정 프로필 페이지가 없고, 두 곳은 로그아웃된 상태였습니다. 검사기는 이들을 '건너뜀(skipped)'으로 기록하고 이유를 남긴 후 실행을 계속합니다.
- Bees가 열려 있을 때만 작동합니다. 에이전트는 서버가 아닌 저희 자체 컴퓨터에서 실행됩니다. 10월 9일 아침에 예정된 실행은 Bees가 출시 주간 동안 문을 닫았기 때문에 여전히 대기 중입니다. 이것이 우리가 선택한 방식이며, 왜(why)를 작성했습니다.
직접 구축할 경우
- 목표에 하드 리밋을 설정하세요: 게시할 수 있는 곳, 하루 행동 횟수, 사용할 수 있는 사실 정보 등을 지정합니다.
- 작업자(worker)의 요약본이 아닌 실제 페이지를 확인하는 검토 단계를 유지하세요. 저희는 작업자가 완료했다고 호출했던 건너뛴 사이트를 포착했습니다.
- 계정 결정은 사람에게 맡기세요: 이메일 인증, 삭제에 대한 항소 등 계정 자체를 변경하는 모든 것은 사람이 처리해야 합니다.
이 과정은 Ask Bees에서 짧은 요청으로 시작되었고, 이후 규칙을 강화하는 몇 차례의 과정을 거쳤습니다. 만약 이런 종류의 작업(chore)이 있다면, 원하는 결과를 설명하고 Bees가 제안하는 내용을 읽어보세요. Bees 다운로드하거나 검토자가 어떻게 작동하는지(how the reviewer works)를 읽어보세요.
첫 게시일: Bees 블로그에서 확인 가능합니다: https://bees.bot/blog/bees-runs-its-own-social-accounts
Bees는 무료이며 오픈 소스입니다: https://github.com/Bees-bot/bees-desktop