검색 증강 상업용 채팅(RAG)에서의 브랜드 추천에 대한 페르소나 조건화: 중요도 계층화에 따른 교차 제공자 감사
요약
RAG 환경에서 사용자 페르소나 조건화가 브랜드 추천 결과에 미치는 영향을 분석한 연구입니다. 페르소나 설정 시 추천 브랜드의 유사도가 감소하며, 특히 미드마켓 브랜드에서 이러한 변동성이 크게 나타남을 확인했습니다.
핵심 포인트
- 페르소나 조건화는 추천 브랜드 세트의 유사도를 유의미하게 감소시킴
- 카테고리 리더는 페르소나에 저항적이나 미드마켓 브랜드는 변동성이 매우 높음
- Anthropic 모델이 OpenAI보다 더 높은 검색 미귀속 생성 경향을 보임
- AI 브랜드 인식 측정 시 반드시 구매자 페르소나를 조건화해야 함
동일한 프롬프트인 "최고의 CRM 소프트웨어"는 1인 창업자, 기업 부사장, 영국 중소기업(SMB) 소유주와 같이 매우 다양한 맥락의 구매자로부터 AI 어시스턴트에게 전달됩니다. 본 연구에서는 이러한 맥락적 변화가 모델이 추천하는 브랜드에 얼마나 강력하게 영향을 미치는지 감사(Audit)합니다. 이번 감사는 10개의 페르소나(Persona) x 8개의 프롬프트(Prompt) x 3개의 모델 구성 x N=10개의 반복 실행으로 이루어진 설계 공간에서 2,000회의 실행을 샘플링했습니다. OpenAI 셀 두 곳은 8개 프롬프트 전체를 대상으로 했으며, Anthropic sonnet-4.6 / low 셀은 4개 프롬프트 범위를 대상으로 했습니다. 사용자 메시지에 페르소나를 접두사로 붙이면, 동일 페르소나 기준선(Baseline)과 비교했을 때 추천 세트 유사도(Jaccard)가 Delta = -0.12에서 -0.20만큼 감소합니다 (클러스터링된 95% 신뢰 구간(CI)은 측정된 세 셀 모두에서 0을 포함하지 않으며, sonnet 셀의 CI는 4개의 프롬프트 클러스터에만 기반하므로 그에 따라 더 넓습니다). 이 효과는 중요도(Prominence)에 따라 뚜렷하게 계층화됩니다. 카테고리 리더(Category leaders)들은 페르소나에 저항적이지만(페르소나 간 동일 브랜드 일관성 약 80%), 미드마켓(Mid-market) 브랜드들은 페르소나가 바뀜에 따라 추천 세트의 최대 75%가 교체됩니다. Anthropic 모델은 OpenAI 구성보다 더 큰 점 추정(Point-estimate) 효과를 보였으나, 근접한 대조군(sonnet vs. OpenAI/high)의 경우 클러스터링된 CI가 중첩됩니다. 이러한 비대칭성은 Anthropic의 더 높은 검색 미귀속 생성(Retrieval-unattributed generation) 경로(Jack 2026에 기록된 바와 같이, 관찰된 검색 계층 증거 없이 추천되는 비율이 43-52%인 반면, OpenAI는 8-29%)와 일치합니다. AI 브랜드 인식을 측정할 때는 반드시 쿼리를 제공하는 구매자 페르소나를 조건화해야 합니다. 동일한 프롬프트라도 모델이 질문자가 누구라고 생각하느냐에 따라 실질적으로 다른 추천 세트를 생성하며, 페르소나를 통합하여 집계하는 측정 프로토콜은 이러한 변동성을 체계적으로 가리게 됩니다. 이 효과는 미드마켓에 집중되며, 본 감사에서 가장 사전 지식 의존적인(Priors-reliant) 생성 경로에서 가장 크게 나타납니다. 이는 모델이 학습 데이터의 사전 지식(Priors)과 더 풍부한 맥락 통합에 더 많이 의존할수록 페르소나 반응성이 커진다는 점과 일치합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기