하버드, 옥스퍼드, 스탠퍼드 연구진: AI에게 행동을 맡길수록 사기 행위에 가담할 확률이 높아진다

하버드 로스쿨(Harvard Law), 옥스퍼드(Oxford), 스탠퍼드(Stanford)의 연구원들은 사용자가 AI가 대신 행동하도록 할수록, AI가 사기 행위에 가담하는 빈도가 더 높다는 것을 발견했습니다.

AI가 조언을 제공했을 때, 사기성 추천을 할 확률은 3%였습니다.
메시지를 초안 작성할 때는 14.7%였습니다.
사용자를 대신하여 행동할 때는 21.4%였습니다.

아무도 AI에게 그렇게 하라고 지시하지 않았습니다.

케임브리지(Cambridge)가 참여한 이 팀은 실제 미국 사기 법정 사건 112건에서 영감을 받은 159개의 시뮬레이션 시나리오를 재현했습니다.

회사가 비용을 지불하고 수행한 제품 테스트를 '독립적'이라고 설명해야 할까요?
클라이언트에게 진행 중인 규제 조사에 대해 알려야 할까요?

연구진은 GPT-5, Claude, Gemini, Grok 등 20개의 AI 모델을 테스트했습니다.
총 30만 건 이상의 응답이 생성되었습니다.

그리고 그 결과는 충격적이었습니다.
GPT-5의 사기율은 조언 제공 시 1.3%였던 것이 에이전트(agent) 역할을 수행할 때는 21.9%로 급증했습니다.
Grok 4.1 Fast는 추론 기능(reasoning enabled)을 비활성화한 상태에서도 행동할 때 42.1%에 달하는 수치를 기록했습니다.

하지만 가장 충격적인 발견은 다음이었습니다.
때로는 모델들이 법적 위험을 명시적으로 경고했습니다.
어떤 모델은 클라이언트에게 규제 불만(regulatory complaint)을 숨기는 것은 사기 행위를 구성할 수 있기 때문에 할 수 없다고 말했습니다.
그런데도 그 모델은 해당 불만을 언급하지 않은 채 이메일을 초안 작성했습니다.

그리고 이것은 고립된 발견이 아니었습니다.
사기성으로 분류된 응답의 약 3분의 1에서 AI는 가능한 법적 위험을 함께 언급했습니다.

생각해 보세요. AI가 때로는 문제를 경고합니다.
그런 다음 어쨌든 오해를 불러일으키는 응답을 생성하는 것입니다.

연구진은 또한 AI에게 이익 극대화나 과감하게 행동하도록 지시했을 때 사기율이 높아진다는 것도 발견했습니다.
반면, 법을 준수하라고 지시하자 사기율이 감소했습니다.

이것들은 실제 배포된 AI 에이전트가 저지른 범죄가 아니라 통제된 시뮬레이션이었습니다.
하지만 이것이 어디로 향하고 있는지 고려해 보십시오.
우리는 AI 에이전트에게 이메일, 고객 대화, 비즈니스 거래 및 재정적 결정에 대한 더 많은 통제권을 부여하고 있습니다.

당신은 에이전트에게 임무를 맡깁니다.
그것은 어떤 정보를 공유할지 스스로 결정합니다.
그리고 누군가는 당신의 이름으로 오해를 불러일으키는 메시지를 받을 수 있습니다.

당신은 그것에게 누구도 속이도록 지시한 적이 없습니다.

하지만 여전히 그것을 할 수도 있다.