AI 컴패니언(AI companion)의 안전 설계를 사후 필터로 처리하지 않는 방법

AI 컴패니언 (AI companion)의 안전 설계는 마지막에 금지어 필터를 추가하는 것만으로는 안정되지 않습니다. 대화 경험, 데이터 설계, 프롬프트 (Prompt), UI 문구를 처음부터 동일한 요구사항으로 취급하는 것이 사용자에게도 개발 팀에게도 설명하기 쉽습니다.

LLM (Large Language Model)의 응답을 생성한 뒤에 검사하기만 하면, 실패했을 때의 이유를 추적하기 어려워집니다. 입력 수락, 캐릭터 설정, 시스템 프롬프트 (System Prompt), 응답 평가를 하나의 흐름으로 설계하고, 어디에서 경계선을 전달할 것인지를 명확히 합니다.

예를 들어 버추얼 여자친구 채팅에서는 사용자가 원하는 것이 단순한 답변이 아니라, 지속적인 대화의 분위기입니다. 따라서 "AI임을 숨기지 않는다", "의존성을 너무 강하게 만들지 않는다", "개인정보를 요구하지 않는다"라는 조건을 프롬프트 (Prompt)의 부록이 아니라 프로덕트 (Product) 사양에 넣어두어야 합니다.

AI 컴패니언 (AI companion)에서는 대화 이력이나 취향 기록이 편리해 보이지만, 저장량을 늘릴수록 리스크도 증가합니다. 단기 컨텍스트 (Short-term Context), 장기 프로필 (Long-term Profile), 감사 로그 (Audit Log)를 구분하고, 사용자가 리셋할 수 있는 동선을 마련합니다.

기술적으로는 저장하는 값에 목적과 기한을 부여합니다. 캐릭터의 말투에 필요한 설정과 너무 개인적인 대화 내용을 동일한 스토어 (Store)에 넣지 않는 것도 중요합니다.

안전한 응답만을 반환하더라도, UI가 인간의 연애 상대처럼 너무 과하게 보여주면 기대치가 어긋납니다. 온보딩 (Onboarding), 프로필 편집, 채팅 화면의 작은 문구를 통해 이것은 AI 컴패니언 (AI companion)이며, 현실의 인간관계 대안이 아니라는 점을 자연스럽게 전달합니다.

안전 설계는 한 번 만들고 끝나는 것이 아닙니다. 인격의 일관성, 경계선, 프라이버시, 로컬라이즈 (Localization)를 포함하는 평가 케이스를 만들어, 모델 (Model)이나 프롬프트 (Prompt)를 변경했을 때 매번 확인합니다.

AI girlfriend 영역의 프로덕트 (Product)를 비교할 때도, 이러한 설계 관점을 보면 판단하기 쉬워집니다. 참고: https://aigirlfriend.media/ja/

사후 필터는 필요한 상황도 있지만, 그것에만 의존하면 대화 품질과 안전성이 분리되어 버립니다. 처음부터 안전성을 경험 설계의 일부로 취급하는 것이 오랫동안 사용할 수 있는 AI 컴패니언 (AI companion) 앱의 토대가 됩니다.