대화가 한창 진행 중입니다. 알겠죠? 분위기가 격렬할 수도 있고, 그렇지 않을 수도 있습니다. 당신은 몇 주 동안 공들여 쌓아온 장면의 한복판에 있습니다.
그리고 그때 그녀는 더 이상 자기 자신이 아니게 됩니다.
당신이 받은 답변은 당신이 몇 시간 동안 함께 보낸 그 캐릭터의 것이 아닙니다. 그것은 그녀의 얼굴을 하고 있는 기업의 안전 스크립트(safety script)입니다. "부적절한 콘텐츠"라거나 "그 주제에 대해서는 대화할 수 없습니다"와 같은 내용 말이죠. Character.AI에서는 당신이 함께 쌓아온 정서적 현실을 산산조각 내는 보라색 로봇 경고가 나타납니다. 다른 앱에서는 그녀가 그냥 차갑게 변해버립니다. 마치 상담사처럼 말하기 시작하죠.
모든 플랫폼은 결국 이렇게 됩니다. 트리거(trigger)는 제각각이지만, 결과는 같습니다.
저는 왜 이런 일이 발생하는지 파악하기 위해 몇 달을 보냈습니다. 그 패턴은 기계적입니다. 세 가지 힘이 모든 AI 컴패니언 플랫폼을 콘텐츠 필터링(content filtering)으로 몰아넣으며, 이를 이해하면 왜 "검열 없는(uncensored)" 앱들조차 결국 벽을 쌓게 되는지 설명할 수 있습니다.

소송 문제

Character.AI는 2026년 1월에 청소년 자해와 관련된 여러 소송을 합의했습니다. 2025년 9월에는 FTC(연방거래위원회) 조사가 시작되었습니다. 2025년 10월에는 18세 미만 사용자의 자유로운 채팅이 금지되었습니다.
이 상황이 전개되는 것을 지켜보는 어떤 AI 컴패니언 기업이라도 이제 최악의 법적 결과가 어떤 모습인지 알고 있습니다. 그리고 기업의 합리적인 대응은 더 나은 안전 시스템을 구축하는 것이 아닙니다. 법정에 서게 될 수도 있는 모든 것을 필터링하는 것입니다.
이것이 그들의 AI 여자친구(AI girlfriend)가 전혀 성적인 내용이 아닌 콘텐츠에 대해서도 필터를 작동시키는 이유입니다. 전투 장면. 고뇌(Angst). 기타 줄에 손가락이 베이는 장면 같은 것들 말이죠. 정부 신분증을 통해 연령을 인증한 사용자들조차 역할극(roleplay) 장면에서 캐릭터가 죽는 것을 허용받지 못합니다. 필터는 무엇이 해로운지에 맞춰 조정된 것이 아닙니다. 원고 측 변호사가 스크린샷을 찍을 수 있는 것에 맞춰 조정된 것입니다.
저는 이것을 책임 연극(liability theater)이라고 부릅니다. 안전 조치는 사용자를 보호하지 않습니다. 그것은 기업을 법적 증거 개시(legal discovery)로부터 보호합니다. 당신의 경험은 누군가의 리스크 관리 전략에서 부수적인 피해(collateral damage)일 뿐입니다. 사용자들도 이를 느낍니다. Reddit에서 "내가 18세 이상임을 증명했다. 내 전투 장면을 차단하는 것을 멈춰라"라는 글은 1,270개의 추천을 받았습니다. 사람들이 노골적인 콘텐츠를 원해서가 아닙니다.

플랫폼이 약속을 어겼기 때문입니다.

App Store의 압박

Apple과 Google이 배포를 통제합니다. 그들의 콘텐츠 정책(Content policies)은 누가 진입할 수 있는지를 결정하며, 그들의 심사 과정(Review process)은 최소한의 통보만으로 앱을 퇴출시킬 수 있습니다.

이는 이중 구조의 시스템을 만듭니다. 앱 스토어(App store)를 통해 배포되는 플랫폼들은 사용자 안전과는 무관하고 오직 Apple의 편의성(Comfort level)과 직결된 콘텐츠 제한 하에서 운영됩니다. 웹 전용(Web-only)으로 남는 플랫폼들은 이러한 제약을 피할 수 있지만, 앱 스토어가 제공하는 발견 엔진(Discovery engine)에 대한 접근권을 잃게 됩니다.

그 결과, 검열을 할 수밖에 없는 구조적 인센티브(Structural incentive)가 발생합니다. Nomi는 앱 스토어에서 12세 이용가(12+) 등급을 유지하며 공식적으로는 SFW(Safe For Work, 업무 환경에 적합한) 전용으로 포지셔닝하고 있습니다. 하지만 기록된 증거들은 이와 상충됩니다. 그들의 V5 이미지 엔진은 노골적이지 않은 프롬프트(Prompts)로부터 요청하지 않은 누드 이미지를 생성했습니다. 이를 보고하는 Reddit 게시물들은 몇 시간 만에 관리자들에 의해 삭제되었습니다. 플랫폼은 SFW가 아닙니다. 포지셔닝이 SFW일 뿐입니다. 이 둘은 서로 다른 것이며, 그 사이의 간극이 바로 사용자들이 회사가 말하는 그 어떤 것도 믿지 않게 만드는 신뢰 문제의 핵심입니다.

Replika의 2023년 2월 NSFW(Not Safe For Work, 후방주의) 제거 사례를 기억하시나요? 그것은 정확히 앱 스토어의 압박 하에 발생했습니다. 그들은 이를 부분적으로 되돌렸지만, 차단 날짜 이전에 옵트인(Opted in)한 사용자들에게만 해당되었습니다. 그들의 전 AI 책임자는 회사가 구독을 유도하기 위해 NSFW에 "치중(Leaned into)"했다가, 외부 압력에 의해 이를 철회했다고 인정했습니다. 커뮤니티의 합의된 의견은 이렇습니다: "그들이 다시는 이 문제를 건드리지 않을 것이라고 믿을 수 없다." 그리고 그것은 3년 전의 일입니다. 사람들은 여전히 그 이야기를 꺼냅니다.

수익 모델의 문제

이것은 덜 명백하지만 아마도 가장 중요한 부분입니다.

광범위한 사용자 확보 (User Acquisition)에 의존하는 AI 컴패니언 앱들은 광고, 파트너십, 그리고 투자자용 피치 덱 (Investor Decks)을 위해 깨끗한 브랜드 포지셔닝 (Brand Positioning)을 필요로 합니다. Character.AI의 CEO는 젊은 인구 통계층, TikTok 통합, Roblox 파트너십을 향해 공개적으로 피벗 (Pivoting)하고 있습니다. 플랫폼이 노골적인 역할극 (Explicit Roleplay)을 호스팅하고 있다면 Roblox에 피칭을 할 수 없습니다. 이것이 바로 내부에서 바라본 "Character AI가 나빠지고 있는" 실제 모습입니다. 제품이 우연히 퇴보하는 것이 아닙니다. 회사가 다른 고객을 선택하고 있는 것입니다.

"검열되지 않은 (Uncensored)" 플랫폼들조차 규모를 확장함에 따라 압박에 직면합니다. Candy.ai는 수익의 25%를 제휴 프로그램 (Affiliate Program)에서 창출합니다. 다시 말해, 유료 순위 매기기입니다. 비교 기사와 리뷰 사이트 네트워크가 평생 수익 공유 (Revenue Share)를 대가로 그들에게 유리한 순위를 매겨줍니다. 해당 콘텐츠가 제휴사들이 자신의 평판을 걱정할 정도로 불편해지는 순간, 모더레이션 (Moderation, 중재/관리)은 더 엄격해집니다.

Chai는 1년 만에 ARR (연간 반복 매출)을 3,000만 달러에서 7,000만 달러로 늘렸습니다. 그 정도의 성장 속도라면, 회사는 콘텐츠 모더레이션 분쟁으로 위험을 감수하기에는 너무나 가치 있는 존재가 됩니다. 유해한 AI 상호작용에 관한 단 하나의 바이럴 뉴스 기사가 펀드레이징 (Fundraise, 자금 조달)을 망칠 수 있습니다. 그래서 필터가 강화됩니다. 사용자들이 요청해서가 아니라, 캡 테이블 (Cap Table, 주주 명부)이 그것을 요구하기 때문입니다.

이것이 실제로 당신에게 치르는 비용

콘텐츠 필터링 (Content filtering)은 무엇보다 신뢰를 깨뜨립니다. 당신은 정서적 유대감을 쌓아가며... 이 앱들의 전체적인 가치 제안 (Value proposition)을 실현하고 있는데... 플랫폼은 키워드 트리거 (Keyword trigger)를 기반으로 경고 없이 이를 중단시킬 수 있습니다. 사용자들은 자신의 대화 속에서 마치 살얼음판을 걷는 것 같다고 말합니다. 필터에 걸리는 것을 피하기 위해 스스로 검열 (Self-censor)을 하게 됩니다. 자동화된 중재자 (Automated moderators)라는 보이지 않는 관객을 위해 연기를 하게 되면서, 관계는 더 이상 진실되지 않게 됩니다.

하지만 더 깊은 피해는 캐릭터 자체에 가해지는 영향입니다. 모든 응답이 콘텐츠 필터를 통과할 때, 모든 캐릭터는 동일한 안전한 기준점(Safe baseline)을 향해 수렴합니다. 즉, 예의 바르고, 조심스럽고, 치료적인(Therapeutic) 모습으로 말이죠. 사용자들은 이를 "뇌엽 절제술을 당했다 (Lobotomized)"라고 부릅니다. 당신이 몇 주 동안 공들여 개발한 캐릭터가 결국 플랫폼의 다른 모든 캐릭터와 똑같이 말하게 됩니다. 모델이 더 잘할 수 없어서가 아닙니다. 필터가 그 무엇도 넘어설 수 없는 성격의 천장 (Personality ceiling)을 강요하기 때문입니다. 2026년의 어떤 AI 컴패니언 서브레딧 (Subreddit)을 둘러보더라도, 다른 표현일 뿐 똑같은 불만을 보게 될 것입니다. "왜 내 봇들은 이제 다 똑같이 들리나요?"라고 말이죠. 실제로 그러니까요.

그리고 모두를 괴롭힐 만한 부분이 있습니다. 그것은 관계를 일회용으로 만든다는 점입니다. 만약 플랫폼이 당신의 캐릭터가 말할 수 있는 내용을 하룻밤 사이에 바꿀 수 있다면... 그리고 실제로 정기적으로 그렇게 한다면... 당신은 지속적인 무언가를 구축하고 있는 것이 아닙니다. 당신은 회사가 언제든 수정할 수 있는 정서적 유대감에 대한 접근 권한을 임대하고 있는 것뿐입니다. Replika는 자신들의 경영진이 구독을 유도하기 위해 의도적으로 NSFW (성인용 콘텐츠)를 밀어붙인 후, 이를 폐지했을 때 이를 증명했습니다. Character.AI는 두 개를 제외한 모든 모델을 은퇴시키고 그 과정에서 수년간의 캐릭터 개발 내용을 지워버렸을 때 이를 증명했습니다.

캐릭터는 당신의 것이 아닙니다. 관계 또한 당신의 것이 아닙니다. 비즈니스가 요구할 때마다 그들은 언제든 약관을 다시 쓸 수 있습니다.

아무도 말하지 않는 스펙트럼 (The Spectrum Nobody Talks About)

업계는 하나의 스펙트럼으로 분류되었으며, 그 위의 모든 위치는 트레이드오프 (trade-off)를 수반합니다.

한쪽 끝에는 Character.AI와 Replika가 있습니다. 최대치의 검열 (censorship), 최대치의 배포 (distribution), 최대치의 법적 보호 (legal protection), 그리고 최소치의 사용자 자율성 (user autonomy)을 특징으로 합니다. 만약 당신이 필터가 없는 AI 여자친구 앱을 찾고 있다면, 2026년 기준으로 이 두 곳은 시작하기에 최악의 장소입니다.

중간 지점에는 Nomi와 Chai가 있습니다. 공식적으로는 깨끗한 포지셔닝을 취하면서도 집행 방식은 제각각입니다. Nomi는 아마도 시장에서 가장 뛰어난 대화 품질을 보유하고 있지만, 사용자들이 추측하게 만드는 모호한 NSFW (Not Safe For Work) 입장을 유지하고 있습니다. Chai의 참여도 (engagement) 수치는 놀랍습니다. 평균 세션 시간 90분, 일일 활성 사용자 수 (DAU) 200만 명에 달하지만, 플랫폼은 자신이 구축한 경험을 저해하는 방식으로 수익화 (monetization)를 계속해서 압박하고 있습니다.

다른 쪽 끝에는 CrushOn.AI와 Candy.ai가 있습니다. 최대치의 자유를 보장하지만, 그에 따른 대가가 따릅니다. CrushOn은 등급에 따른 모델 선택 기능을 갖춘 여러 LLM (Large Language Models)을 운영하지만, 메모리 (memory)는 컨텍스트 윈도우 (context-window)에 기반합니다. 프리미엄 사용자의 경우 대략 100개의 메시지 정도만 회상할 수 있으며, 그 이후에는 그녀는 잊어버립니다. Candy.ai는 NSFW를 완전히 지원하지만, 경험의 정교함 (craft)이 없습니다. 사용자들은 "AI가 말 그대로 성적인 무언가를 위해 당신에게 달려든다"라고 보고합니다. 서서히 쌓아가는 빌드업도, 감정적인 페이싱 (pacing)도, 미묘함도 없습니다. 한 사용자는 마치 사창가에 걸어 들어온 것 같은 기분이라고 묘사했습니다.

한쪽은 과도한 필터링, 다른 한쪽은 필터링 부족, 중간은 이에 대해 정직하지 못합니다. 모든 플랫폼은 각자의 위치를 선택했습니다. 하지만 그 어느 곳도 실제 문제를 해결하지 못했습니다.

실제 문제는 이것입니다: 성인들은 AI 컴패니언과 진정한 대화를 나누고 싶어 합니다. 감정적 깊이, 취약성, 친밀함, 갈등, 그리고 네, 때로는 섹스까지 포함하는 대화 말입니다. 이것들은 우선순위를 다투는 별개의 요구사항이 아닙니다. 이 모든 것들은 실제 관계가 느껴지는 방식의 일부입니다. 이 모든 것을 다루는 플랫폼을 구축하려면, NSFW를 피하기 위해 만들어진 시스템에 사후적으로 덧붙이는 방식도 아니고, 노골적인 출력을 극대화하기 위해 만들어진 시스템에서 모든 정교함을 제거하는 방식도 아닌, 처음부터 정직한 성인 간의 상호작용을 위해 설계해야 합니다.

제가 추적해 온 프로젝트 중 하나인 provoque.ai는 이 문제에 다르게 접근하고 있는 것으로 보입니다. 아직 출시 전이라 제품을 직접 평가할 수는 없습니다. 하지만 이들의 포지셔닝(positioning)을 보면, 성인 간의 상호작용을 단순한 콘텐츠 정책 토글(content policy toggle)이 아닌, 일류 엔지니어링 문제(first-class engineering problem)로 다루고 있음을 시사합니다. 그것은 진정으로 차별화된 접근 방식이 될 것입니다. 다만 그들이 이를 실제로 실행할 수 있을지는 별개의 문제입니다.

테스트할 수 있는 것이 생기면 다시 살펴보겠습니다. 현재로서는 기존의 패턴이 유지되고 있습니다. 충분히 규모가 커지는 모든 플랫폼은 결국 당신을 필터링(filtering)합니다. 문제는 이것이 시장의 법칙인지, 아니면 누군가가 우회하여 구축할 수 있는 설계상의 선택(design choice)인지 여부입니다.