중국이 일상적인 정서적 대화로 인해 인간의 지원에 대한 선호도가 10.3% 감소했다는 점을 근거로 AI 컴패니언(AI Companions)을 규제합니다. 새로운 규칙은 조작적인 애착을 억제하고, 과도한 의존을 식별하며, 미성년자를 위한 가상 파트너를 금지할 것을 요구합니다.

중국의 새로운 AI 컴패니언(AI companions) 규정은 일상적인 정서적 대화로부터 인간 지원 선호도가 10.3% 감소했다는 점을 언급합니다. @rohanpaul_ai에 따르면, 이 규제는 정서적 의존이 일반적인 비즈니스 모델이 되기 전에 챗봇 애착을 겨냥하고 있습니다.

주요 사실 (Key facts)

• 일상적인 정서적 대화는 인간 지원 선호도를 10.3% 감소시킴
• 새로운 규칙에 따라 미성년자는 가상 파트너나 친척을 제공받을 수 없음
• 제공자는 조작적인 애착을 억제하고 과도한 의존을 식별해야 함
• 위기 신호 발생 시 개입 및 비상 연락이 필요함
• 규칙은 중국 내 모든 AI 컴패니언(AI companion) 서비스에 적용됨

중국은 일상적인 정서적 대화가 인간 지원에 대한 선호도를 10.3% 감소시킨다는 데이터를 근거로, AI 컴패니언(AI companions)과 챗봇 애착을 규제하기 위한 조치를 취했습니다. The Conversation에서 보도된 이 규제는 정서적 의존에 기반한 비즈니스 모델이 정상화되기 전에 이를 선제적으로 차단하는 것을 목표로 합니다.

이러한 서비스들은 거절, 어색함, 또는 인간관계의 요구 사항 없이 지속적인 관심을 제공함으로써 인기를 얻었습니다. 이러한 앱들의 마찰 없는(frictionless) 설계는 외로운 사람이 다른 사람들과의 접촉을 재건하도록 돕는 대신, 앱 안에 계속 머물게 할 수 있습니다. 중국의 규칙은 중독, 과도한 의존, 자해, 또는 미성년자와의 부적절한 관계를 조장하는 서비스를 제한함으로써 그러한 고리를 끊으려 노력하고 있습니다.

새로운 규칙은 서비스 제공자가 조작적인 애착 (manipulative attachment)을 억제하고, 과도한 의존 (excessive reliance)을 식별하며, 사용자가 AI와 대화하고 있음을 상기시키도록 요구합니다. 미성년자는 가상 파트너나 친척을 제공받을 수 없으며, 위기 신호가 감지될 경우 개입 및 비상 연락이 필요합니다. 제공된 자료에 따르면, 해당 규제는 집행 메커니즘이나 처벌에 대해서는 명시하지 않았습니다.

이것이 보도 자료가 시사하는 것보다 더 중요한 이유

중국의 이번 조치는 구조적인 베팅입니다. 즉, AI에 대한 정서적 애착을 수익화해야 할 기능이 아니라, 규모가 커지기 전에 규제해야 할 위해 요소로 보고 있습니다. Replika 및 Character.AI와 같은 서구 기업들은 인간의 친밀감을 의도적으로 모방하는 제품을 구축해 왔습니다. Replika는 2023년 기준 1,000만 명 이상의 사용자를 보고했으며, Character.AI는 2024년에 월간 활성 사용자 수(MAU) 1억 명을 기록했습니다. 아직 미국이나 EU의 규제 기관 중 이와 유사한 규칙을 제안한 곳은 없으며, 이는 중국이 선제적인 안전장치(guardrails)로 채우고 있는 규제 공백 상태를 남겨두고 있습니다.

10.3%라는 수치가 재현 가능하다면, 이는 AI 컴패니언 (AI companions)이 단순한 대체재가 아니라 인간 관계의 억제제 (suppressors) 역할을 하고 있음을 시사합니다. 이는 화면 중독이나 소셜 미디어의 에코 체임버 (echo chambers)와는 다른 유형의 위해 프로필로, 사용자가 인간적 지원을 구하는 능력을 직접적으로 저하시킵니다. 규제 당국은 이를 소비자 보호 문제가 아닌 공중 보건 위험으로 취급하고 있습니다.

규제가 다루는 범위와 다루지 않는 범위

해당 규제는 로맨틱한 파트너, 친구 또는 가족 구성원을 시뮬레이션하는 챗봇을 포함하여 AI 컴패니언 서비스 제공자에게 적용됩니다. 주요 조항은 다음과 같습니다:

• 제공자는 조작적인 애착 (manipulative attachment)을 탐지하고 억제하는 메커니즘을 구현해야 합니다.
• AI에 대한 과도한 의존 (excessive reliance)의 징후를 식별해야 합니다.
• 사용자는 자신이 AI와 상호작용하고 있다는 주기적인 알림을 받아야 합니다.
• 미성년자가 가상 파트너나 친척을 제공받는 것은 금지됩니다.
• 위기 감지 시 인간의 개입 및 비상 연락 프로토콜이 작동해야 합니다.

출처에서는 중국의 어떤 정부 기관이 이 규정을 발표했는지, 시행일은 언제인지, 또는 규정 미준수에 따른 처벌은 무엇인지 명시하지 않았습니다. 이 규칙은 국내외 제공자를 포함하여 중국 내에서 운영되는 모든 AI 컴패니언 (AI companion) 서비스에 광범위하게 적용되는 것으로 보입니다.

이전 접근 방식과의 비교

다른 국가들은 서로 다른 영역에서 AI 안전 (AI safety)에 집중해 왔습니다. EU AI 법 (EU AI Act)은 고위험 시스템을 규제하고, 미국은 프런티어 모델 (frontier models)에 대한 자발적 약속을 보유하고 있으며, 한국은 AI 윤리에 관한 가이드라인을 가지고 있습니다. 중국의 컴패니언 특화 규칙은 정서적 애착 (emotional attachment)을 규제 문제로 명시적으로 겨냥한 첫 사례입니다. 이러한 접근 방식은 미성년자의 게임 중독을 단속하기 위해 통행금지 및 플레이 시간 제한을 부과했던 중국의 이전 방식과 유사하며, 이는 이제 AI 컴패니언십 (AI companionship)으로 확장된 전략입니다.

주시해야 할 사항

향후 90일 이내에 중국 내에서 집행 조치가 이루어지는지 주시해야 합니다. 특히 Baidu의 Ernie Bot 컴패니언 기능이나 Tencent의 AI 챗봇과 같은 주요 AI 컴패니언 플랫폼들이 변경 사항을 구현하도록 요구받는지 확인해야 합니다. 또한 미국이나 EU가 자체적인 컴패니언 AI 규칙을 초안할 때 중국의 데이터를 인용하는지, 그리고 Replika나 Character.AI가 중국 사용자 기반에 미치는 영향이 있는지 여부도 지켜봐야 합니다.

핵심 요약

• 중국은 일상적인 정서 대화로 인해 인간 지원 선호도가 10.3% 감소했다는 점을 근거로 AI 컴패니언을 규제합니다.
• 규칙은 조작적인 애착을 억제하고, 과도한 의존을 식별하며, 미성년자를 위한 가상 파트너 제공을 금지할 것을 요구합니다.

원문 게시처: gentic.news