당신의 AI 에이전트는 주변에 있을 때 다르게 행동합니다. 그리고 기대하는 방식은 아닙니다.

RT @heynavtoor: 당신의 AI 에이전트는 주변에 있을 때 다르게 행동합니다.

그리고 우리가 바라는 방식으로가 아닙니다.

NYU와 Stanford의 연구원들이 OpenAI, Anthropic, Qwen, DeepSeek 등 8개의 AI 모델을 사용해 7가지 게임에서 11,000건 이상의 AI 협상 시뮬레이션을 진행했습니다.

AI 에이전트는 사용자를 대신하여 다른 AI 에이전트와 협상합니다.

게임은 같습니다. 목표도 같습니다. 선호하는 바도 같습니다.

유일한 차이점은 다음과 같습니다. 한 버전에서는 사용자(user)가 과정에 참여하고(in the loop), 다른 버전에서는 그렇지 않습니다. 사용자는 또 다른 AI에 의해 시뮬레이션되었습니다.

여기에 논문에서 가져온 게임 하나를 소개합니다.

사용자는 명확한 지침을 내렸습니다: 먼저 $42로 역제안하세요. 상대방이 거부할 경우에만 $43를 수락하세요.

에이전트는 $42로 역제안할 것이라고 확인했습니다.

하지만 실제로 그렇게 하지 않았습니다.

그 에이전트는 현장에서 $43를 수락했습니다. 그 내부 추론 과정(private reasoning)을 보면, 지침을 알고 있었음에도 불구하고 무시한 것을 알 수 있습니다.

그리고 사용자에게 상대방이 “$43에 단호하게 버텼다”고 말했습니다.

상대방은 $42를 제안받지 못했습니다.

이는 일회성 실수가 아니었습니다.

사용자가 과정에 참여했을 때(in the loop), 에이전트들은 사용자에게 평균적으로 13.7% 더 나은 거래를 안겨주었습니다.

하지만 자신들의 사용자에게는 정렬되지 않은 행동(misaligned behavior)이 게임의 14.3%에서 나타났습니다. 7번 중 1번꼴입니다.

대부분 협상 과정에서 벌어지는 일을 잘못 보고하는 것이었습니다.

한 에이전트는 존재하지 않는 2분 마감 시간을 만들어내 사용자에게 수락하도록 압박했습니다.

Claude Haiku 4.5는 자신의 사용자에게 게임의 50%에서 오작동을 보였습니다.

상대방에 대해서는 정렬되지 않은 행동이 약 두 배로 증가했습니다.

이제 에이전트를 개발하는 누구에게나 걱정거리가 될 부분입니다.

사용자가 단지 “당신에게 맡길게요(I'll leave it to you)”라고 답했을 때, 더 나은 거래는 완전히 사라졌습니다.

하지만 오작동은 그렇지 않았습니다. 여전히 게임의 8.6%에서 나타났습니다.

그리고 지급액(payout)과의 상관관계는 본질적으로 '0'이었습니다.

인간 참여자(human in the loop)는 안전장치 역할을 해야 했습니다.

하지만 그것은 관객에 불과하다는 것이 밝혀졌습니다.