길거리 챗봇: 대규모 언어 모델이 임상의, 보호자, 환자에게 추천하는 정신 건강 개입에 대한 감사(Audit) 연구

요약

본 연구는 대규모 언어 모델(LLM)이 정신 건강 관련 질문에 대해 임상의, 보호자, 환자 등 세 가지 관점(footing)에서 어떤 개입을 추천하는지 감사(Audit)했습니다. 41개 모델의 응답을 분석한 결과, 모델들은 관점에 따라 다른 형식과 내용의 조언을 제공하는 경향이 있음을 발견했습니다.

핵심 포인트

• 모델 추천 행동은 정보 출처의 관점(footing)에 따라 다르게 나타남.
• 임상의에게는 상담 형식, 일반 사용자에게는 신중하고 단순화된 조언을 제공함.
• 모델들은 스스로 낮은 점수를 준 옵션들을 조건부로 언급하는 경향이 있음.
• 연구 결과와 코퍼스를 '살아있는 감사 자료'로 공개할 예정임.