MindEval2: 정신 건강 지원을 위한 임상 기반 환자 및 평가 루브릭

요약

본 논문은 정신 건강 지원 AI 챗봇 평가의 한계를 극복하기 위해 MindEval2라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 임상 기반의 명확한 운영 기준(MHQR)과 현실적이고 도전적인 상호작용을 제공하는 환자 시뮬레이션 도구(MindSim)로 구성되어 있습니다. 이를 통해 AI 모델의 정신 건강 지원 능력을 보다 실질적으로 평가할 수 있게 합니다.

핵심 포인트

• MindEval2는 임상 기반 루브릭과 현실적 환자 시뮬레이션을 결합한 평가 프레임워크입니다.
• MHQR은 심리학자와 협력하여 해석 가능한 운영 기준을 세분화했습니다.
• MindSim은 업데이트되는 메모리 구성 요소를 포함하여 종단적 상호작용 모델링이 가능합니다.
• 평가 결과, 안내 보정(guidance calibration) 실패 양상이 주요 품질 격차로 확인되었습니다.