LLUMI: 온라인 커뮤니티 피드백을 통한 정신 건강 지원용 LLM 글쓰기 보조 기능 개선

대규모 언어 모델 (LLMs)은 정신 건강 관련 질의에 대해 지지적인 응답을 생성하는 데 유망한 가능성을 보여주지만, 모델의 유용성, 공감 능력 및 안전성을 개선하기 위해서는 상당한 컴퓨팅 자원 (compute), 전문가의 입력 및 라벨링된 데이터가 필요한 경우가 많습니다. 동시에, 정신 건강 관련 상호작용에 폐쇄형 클라우드 기반 모델을 배포하는 것은 그 민감성을 고려할 때 중요한 개인정보 보호 및 데이터 거버넌스 문제를 야기합니다. 이러한 과제를 해결하기 위해, 우리는 보호된 환경 내에서 자체적으로 호스팅할 수 있는 LLUMI 설정을 소개합니다. LLUMI는 두 가지 상호 보완적인 구성 요소로 이루어져 있습니다: 정신 건강 질의에 대한 지지적인 응답 초안을 작성하는 생성 모델 (GM, Generation Model)과, 초기에 사람이 작성한 응답을 수정하는 개선 모델 (IM, Improvement Model)입니다. 우리는 Reddit의 정신 건강 커뮤니티로부터 피드백 신호를 활용하며, 업보트 (upvotes) 및 다운보트 (downvotes)와 같은 커뮤니티 지지 패턴을 사용하여 지도 미세 조정 (SFT, Supervised Fine Tuning) 및 직접 선호 최적화 (DPO, Direct Preference Optimization)를 위한 선택-거절 (chosen-rejected) 응답 쌍을 구축합니다. 나아가 우리는 가독성 (readability), 공감 (empathy), 연결성 (connection), 실행 가능성 (actionability) 및 안전성 (safety)의 다섯 가지 차원에 걸친 인간 평가를 통해 LLUMI를 정렬 (align)합니다. 우리의 연구 결과에 따르면, LLUMI는 폐쇄형 클라우드 기반의 GPT 모델 대신 더 작은 오픈 소스 모델 (open-source models)에 의존함에도 불구하고, 언어 분석 및 인간 평가 전반에서 대등한 성능을 달성했습니다. 이러한 발견은 오픈 소스 모델이 커뮤니티 유래 선호 신호 (preference signals)로 학습될 때, 민감한 지원 맥락에서 더 높은 개인정보 보호를 제공하는 대안을 제시하는 동시에 고품질의 정신 건강 지원 보조를 수행할 수 있음을 시사합니다.