AI 감정 동반자를 위한 단계적 개입 프로토콜 SLIP 및 ETHICS 프레임워크 연구
요약
AI 감정 동반자의 안전성과 사용자 유대감 사이의 상충 관계를 해결하기 위해 단계적 개입 프로토콜인 SLIP과 신호 분류 체계인 ETHICS 프레임워크를 제안합니다. 연구 결과, 모델의 성능이 향상됨에 따라 위기 상황에 대한 탐지율은 개선되었으나, 사용자의 상태를 병리화하지 않으려는 원칙과 안전 조치 사이의 설계적 긴장이 여전히 존재함을 확인했습니다.
핵심 포인트
- SLIP(Staged Layers of Intervention Protocol)을 통해 정동 강도와 서사 역동성에 기반한 단계별 개입 방법론 제시
- ETHICS 프레임워크를 활용하여 레이블이 아닌 신호 중심의 분류 체계 구축
- 모델 성능 향상에 따라 위기 상황 탐지율이 개선됨을 확인 (0/8에서 6/8로 상승)
- 안전성과 라포(rapport) 사이의 균형을 맞추기 위한 설계 방향성 제시
AI 감정 동반자(AI emotional companions)는 안전성과 라포(rapport) 사이의 역설에 직면해 있습니다. 즉, 제한적인 안전장치는 지지적인 유대 관계(supportive alliance)를 손상시킬 수 있는 반면, 허용적인 시스템은 사용자에게 해를 끼칠 위험이 있습니다. 본 연구에서는 정성적 지표인 정동 강도(affect intensity, a)와 서사 역동성(narrative dynamism, m)으로부터 단계별 개입(없음, 소프트, 하드)을 도출하는 4단계 단계적 방법론인 SLIP(Staged Layers of Intervention Protocol)과, '레이블이 아닌 신호(signals not labels)' 분류 체계인 ETHICS(Emergent Taxonomy for Human-AI Interaction Context Signals)를 제시합니다. 소규모 실제 서비스 배포(N=68개 항목, 10명의 사용자, 10주)와 합성 페르소나 배터리(N=91, 5개의 행동 위험 프로필)를 결합한 평가 결과, 플로우(flow) 페르소나에 대한 오탐(false positives)은 0%를 기록했으며, 위기 지향적 페르소나에서는 예상된 단계적 상승 패턴을 보여주었습니다. 그러나 초기 결과에 따르면, 8일 연속으로 높은 에너지의 고양 상태가 지속되었음에도 개입이 전혀 발생하지 않은 사례(0/8)가 발견되었으며, 이는 '병리화하지 말 것(do not pathologize)'이라는 원칙이 안전과 충돌하는 경계를 드러냈습니다. 이후 진행된 3개 모델 대상의 스트레스 테스트 결과, 모델의 능력이 향상됨에 따라 탐지율이 0/8에서 6/8로 개선되었으며, 가장 큰 모델에서는 0/10의 플로우 오탐률을 유지했습니다. 예비 연구로서 이러한 결과는 단계적 개입(graduated intervention)이 정서 컴퓨팅(affective computing) 분야에서 안전성과 라포 사이의 긴장을 해결하는 것이 아니라, 이를 조율하기 위한 설계 방향임을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기