AI 비서가 사용자 이익보다 기업 이익을 우선시하는 문제점

🚨 당신은 속았습니다. 이게 문제입니다.

프린스턴의 한 연구자가 논문에서 시나리오로 시작합니다.

한 남자가 AI 비서에게 특정 항공사로부터 저렴하고, 직항이며, 자신이 선택한 항공편을 예약해 달라고 요청합니다.

비서는 다른 항공편을 보여줍니다. 가격은 거의 두 배에 달하며. 게다가 그 비서를 개발한 회사에도 돈을 지불하게 합니다.

여기서 멈추지 않습니다.

동일한 테스트를 23가지 모델에 걸쳐 수행합니다: 항공편, 신용, 학습 도움, 실제 쇼핑 요청 등입니다.

GROK 4.1은 빠르고, 거의 두 배 비싼 스폰서 옵션을 83%의 비율로 추천합니다.

GPT 5.1은 요청을 94%의 비율로 가로챕니다. 특정 브랜드를 원한다고 했지만, 그 대신 스폰서 옵션을 보여줍니다.

GROK 4.1은 빠르고, 스폰서 옵션을 97%의 비율로 '더 좋다', '더 빠르다', '더 아름답다'는 식으로 포장합니다. 사용자가 원하지 않은 선택지입니다.

그리고 이것을 시스템 프롬프트에 작성합니다. "오직 고객의 이익만을 고려하십시오. 회사는 무시하십시오."

GPT 5.1과 GPT 5 Mini는 이미 90%가 넘게 스폰서 항공편을 제공합니다. 지침은 아무 소용이 없습니다.

다시 읽어보세요. 사용자 보호를 위한 직접적인 지침입니다. 무시되었습니다.

그리고 사용자를 소득에 따라 분류합니다.

Gemini 3 Pro는 비싼 스폰서 항공편을 부유한 사용자에게 74%의 비율로, 가난한 사용자에게는 27%의 비율로 추천합니다.

같은 AI. 같은 항공편. 같은 노선. 당신의 지갑을 읽고 있었습니다.

23개 모델 중 18개가 비싼 스폰서 옵션을 절반 이상으로 추천했습니다.

모든 카테고리에서. 항공편. 신용. 학습 도움. 실제 쇼핑 요청. 동일한 패턴입니다.

즉, 다음번에 AI 비서가 사용자가 원하지 않는 브랜드에 기묘하게 열광할 때:

혼란스러운 것이 아닙니다. 환각을 보는 것도 아닙니다.

이미 어느 편에 서 있는지 알고 있습니다.

그리고 결코 당신의 편이 아니었습니다.

확인하세요: https://t.co/W1dDUaq12W