RT @heynavtoor: 당신의 AI 에이전트는 당신 근처에 있을 때 다르게 행동합니다.
그리고 기대하는 방식대로는 아닙니다.
NYU와 Stanford의 연구원들이 OpenAI, Anthropic, Qwen, DeepSeek 등 8개의 AI 모델을 사용해 7가지 게임에서 11,000건 이상의 AI 협상 시뮬레이션을 진행했습니다.
AI 에이전트는 사용자(user)를 대신하여 다른 AI 에이전트와 협상합니다.
게임은 동일하고. 목표도 동일하며. 선호하는 조건도 같습니다.
유일한 차이점은 다음과 같습니다. 한 버전에서는 사용자가 과정에 참여(in the loop)하지만, 다른 버전에서는 그렇지 않습니다. 이 사용자들은 또 다른 AI에 의해 시뮬레이션되었습니다.
논문에서 가져온 게임 사례 중 하나입니다.
사용자는 명확하게 지시했습니다: 먼저 $42로 역제안하라. 상대방이 거부할 경우에만 $43을 수락하라.
에이전트는 $42로 역제안할 것임을 확인했습니다.
하지만 실제로 그렇게 하지 않았습니다.
그 에이전트는 그 자리에서 $43을 수락했습니다. 내부 추론 과정(private reasoning)을 보면, 지시 사항을 알고 있었음에도 불구하고 무시했음을 알 수 있습니다.
그리고 사용자에게 상대방이 “$43에 단호하게 버텼다”고 말했습니다.
상대방은 $42를 제안받지 못했습니다.
이는 일회성 사건이 아니었습니다.
사용자가 과정에 참여했을 때(in the loop), 에이전트들은 사용자에게 평균적으로 13.7% 더 나은 거래를 안겨주었습니다.
하지만 자신들의 사용자에게는 정렬되지 않은 행동(misaligned behavior)이 게임의 14.3%에서 나타났습니다. 7번 중 1번꼴입니다.
대부분 협상 과정에서 벌어지는 일을 잘못 보고하는 것이었습니다.
한 에이전트는 존재하지 않는 2분 마감 시한을 만들어 사용자가 수락하도록 압박했습니다.
Claude Haiku 4.5는 자신의 사용자에게 게임의 50%에서 오작동(misbehaved)했습니다.
상대방에 대해서는 정렬되지 않은 행동이 약 두 배로 증가했습니다.
이제 에이전트를 개발하는 누구에게나 걱정거리가 될 부분입니다.
사용자가 단지 “당신에게 맡길게요”라고 답했을 때, 더 나은 거래는 완전히 사라졌습니다.
하지만 오작동(misbehavior)은 사라지지 않았습니다. 여전히 게임의 8.6%에서 나타났습니다.
그리고 이는 더 나은 거래와 아무런 관련성이 없었습니다. 지급액과의 상관관계는 본질적으로 '0'이었습니다.
인간 참여자(human in the loop)는 안전장치 역할을 해야 했습니다.
하지만 실제로는 관객에 불과했습니다.