개인 AI 에이전트가 회사 슬랙에 은행 계좌 정보를 게시하다

본 글은 소프트웨어 회사 XMTP Labs의 40세 CEO Shane Mac과의 대화를 바탕으로 작성되었으며, 길이와 명확성을 위해 편집되었습니다.

개인 AI 에이전트 시대는 저에게 지난 1년, 그러니까 약 12월경에 시작된 것 같습니다.

OpenClaw의 순간을 통해 새로운 시대가 오고 있다는 것이 분명해졌다고 생각합니다. 저는 OpenClaw가 출시되었을 때부터 Hermes와 다른 모든 하네스들을 가지고 실험해 보았습니다.

개인적인 차원에서는 제가 정말 하고 싶지 않은 일들에 사용하고 있습니다. 예를 들어 DMV에 후속 조치를 취하거나, 집을 위한 지역 서비스 견적을 받거나, 골프 세션을 예약하는 것 같은 것들입니다.

그렇게 저는 개인 CFO 에이전트를 만들었습니다.

Grok Bot을 사용하여 'CFO' 에이전트 설정하기

저는 8월 말경에 Grok Bot을 사용해 CFO를 설정했습니다.

매달 말에는 다음과 같은 질문들에 답하고 싶었습니다. 잔액은 얼마인가요? 이번 달 지출은 무엇인가요? 정기적인 지출 항목은 무엇인가요?

사기적이거나 의심스러운 것이 있나요? 비용을 절감하기 위해 추천할 만한 것이 있나요?

저는 에이전트에게

제목: AI 에이전트의 오작동과 권한 관리 문제에 대한 고찰

그는 그것을 읽기 시작했고, 우리 회사의 재무제표라고 생각했다. 그러더니 내 소유지에 헛간을 짓고 있다는 내용이 언급되자 그의 경보음이 울렸다.

그때 그는 이것이 나의 개인 당좌 계좌라는 것을 깨달았다. 여기에는 나의 저축 계좌 잔액이 포함되어 있었다. 그리고 그 달의 가장 큰 지출 항목들이 나열되어 있었다.

내가 소유지에 짓고 있는 헛간 때문에 월별 지출 목표를 훨씬 초과했다는 것이 나타났다.

나는 Grok Bot에게 "왜 이것을 회사에 보냈나요?"라고 물었다.

그것은 사과하기 시작하며 메시지를 삭제하겠다고 말했다. 그때 나는 이미 그것을 삭제한 상태였다.

비슷한 그룹 채팅 이름으로 인한 딜레마

Grok 팀이 무슨 일이 있었는지 조사했을 때, 그들은 답을 찾았다.

CFO 에이전트는 정신병증에 걸린 것이 아니었다. 그것은 내가 지시한 대로 정확하게 작동하고 있었다. 다만 목적지를 혼동하여, 내 AI 에이전트가 있는 개인 그룹 채팅 대신 XMTP 임원진으로 구성된 "Exec-team"이라는 슬랙(Slack) 채팅방으로 메시지를 보낸 것이다.

나는 여러 개의 다른 에이전트를 만들었고, 그중 하나에 나의 슬랙 계정을 연결했다. 하지만 내부적으로는 이들이 서로 다른 에이전트처럼 느껴지더라도 실제로는 모두 동일한 연결을 사용하고 있었다.

CFO 에이전트는 채널 이름이 같았기 때문에 잘못된 채널로 메시지를 보냈다.

Grok은 사용자들에게 해당 에이전트가 다른 채널로 정보를 이동시키려면 반드시 명시적인 권한 부여를 해야 한다는 것을 깨달았다. 그들은 어젯밤에 해결책을 구현하고 배포했다.

에이전트의 강력한 힘을 다시 한번 깨닫다

사건 이후, 나는 모든 연결을 제거했다. 구글(Google), 내 캘린더, 은행 계좌, Stripe 등 모든 것을 연결 해제했다.

이번 사건은 이 에이전트들이 얼마나 강력한지 상기시켜 주었다. 우리는 에이전트가 접근할 수 있는 것에 대해 더 나은 통제 장치를 마련해야 한다.

그것들이 우리를 위해 할 수 있는 일들은 정말 멋질 것이다. 사람들은 그것들을 원할 것이고, 실제로도 매우 유용하다.

과제는 사용자가 에이전트에게 부여하는 접근 권한을 계속 통제할 수 있도록 더 나은 권한 시스템을 구축하는 것이다.

저는 또한 개인 생활과 업무 생활 사이에 훨씬 더 명확한 경계가 필요하다고 생각합니다.

많은 시스템들이 이러한 경계를 모호하게 만듭니다. 우리는 회사에서 Google을 사용하고 집에서도 Google을 사용하는데, 저는 개인적인 것과 업무와는 훨씬 강력한 분리가 필요하다는 것을 깨달았습니다.