"같은 질문, 다른 답변": 금연 조언에서 나타나는 6개 LLM의 페르소나별 차이 분석

요약

연구진은 여섯 개의 LLM을 대상으로 금연 조언에 대한 페르소나별 답변 차이를 분석했습니다. 생활 단계와 전문성이 다른 12가지 가상 사용자에게 동일한 질문을 던져 모델의 응답 패턴을 검증했습니다. 그 결과, 누가 질문하느냐(페르소나)에 따라 LLM이 제공하는 건강 조언 내용과 사실적 정보가 크게 달라짐을 보여주었습니다.

핵심 포인트

• LLM의 답변은 사용자의 페르소나(생활 단계, 전문성 등)에 따라 큰 차이를 보인다.
• 청소년과 성인에게 언급되는 FDA 승인 처방 약물 정보에서 모델 간 편차가 관찰되었다.
• 시스템 프롬프트로 '사실적 기준점'을 설정해도 모든 모델에서 일관된 결과가 보장되지 않는다.
• 임상 목표는 연령 등 맥락을 고려해야 하며, 단순한 언급률 비교는 위험하다.