AI 컴패니언 개발에서 고려하고 있는 안전성 및 기억 설계

AI 컴패니언 (AI Companion)의 구현은 단순히 LLM에 캐릭터 설정을 전달하는 것만으로는 안정적이지 않습니다. 지속적인 대화 경험을 만들기 위해서는 인격 설계, 단기 컨텍스트 (Short-term Context), 장기적인 선호도, 세이프티 룰 (Safety Rules), UI상의 설명이 하나의 시스템으로서 작동해야 합니다.

girlfriend ai에서는 우선 캐릭터의 일관성을 중시하고 있습니다. 말투, 거리감, 반응의 템포가 매번 크게 바뀌면 사용자는 그 상대를 '동일한 존재'로 받아들이기 어려워집니다. 반면, 너무 고정해 버리면 대화가 템플릿화됩니다.

이 사이의 중간 지점을 찾기 위해 프로필, 대화 이력, 사용자의 선호를 나누어 다루는 것이 중요해집니다. 모델로의 입력을 하나의 커다란 프롬프트 (Prompt)로 너무 몰아넣으면 변경 사항의 영향 범위를 파악하기 어려워집니다.

기억 설계에서는 모든 것을 저장하는 것이 아니라, 무엇을 단기 문맥으로 취급하고 무엇을 지속적인 선호도로 취급할지를 구분합니다. AI 컴패니언은 개인적인 대화가 되기 쉽기 때문에, 기억의 취급은 체험 품질뿐만 아니라 신뢰성의 문제이기도 합니다.

단기 컨텍스트는 직전의 대화를 자연스럽게 잇기 위해 사용합니다. 장기적인 선호도는 사용자가 기대하는 톤이나 대화 스타일을 유지하기 위해 사용합니다. 이 두 가지를 섞으면 불필요한 정보까지 길게 남기 쉽습니다.

안전성 또한 후단의 필터 (Filter)에만 맡겨서는 안 됩니다. 연령, 동의, 실존 인물과의 혼동, 위험한 요청 등에 관한 규칙은 프롬프트, 온보딩 (Onboarding), UI 문구, 로그 설계, 서포트 운영까지 포함하여 생각해야 합니다.

모델이 답변하기 직전에 판정하는 것만으로는 프로덕트 전체의 기대치를 제어할 수 없습니다. 사용자가 무엇과 대화하고 있는지를 이해할 수 있도록 만드는 것도 세이프티 (Safety)의 일부입니다.

평가 또한 일반적인 챗봇 (Chatbot)과는 조금 다릅니다. 답변의 정확성뿐만 아니라 캐릭터의 일관성, 경계선을 유지하는 방법, 거절의 자연스러움, 기억의 사용법, 사용자에게 오해를 주지 않는 설명이 중요합니다.

AI 컴패니언은 모델 단독이 아니라 프로덕트 전체로 성립하는 영역입니다. 따뜻한 대화 경험을 만들수록 그 밑바탕이 되는 설계는 명확하고 측정 가능해야 한다고 생각합니다.