PSI-Bench: 우울증 환자 시뮬레이터의 임상적 근거와 해석 가능한 평가로 나아가기

환자 시뮬레이터는 복잡하고 민감한 환자 상호작용에 대한 확장 가능한 노출을 제공함으로써 정신 건강 훈련에서 주목받고 있습니다. 우울증 환자를 시뮬레이션하는 것은 특히 도전적인데, 안전 제약과 높은 환자 변동성이 시뮬레이션을 복잡하게 만들고 다양한 및 현실적인 환자 행동을 포착하는 시뮬레이터의 필요성을 강조하기 때문입니다. 그러나 기존 평가는 주로 프롬프트가 명확하지 않은 LLM-judge(대규모 언어 모델 판정자)에 크게 의존하며 행동 다양성을 평가하지 않습니다. 우리는 turn-level(턴 단위), dialogue-level(대화 단위), 그리고 population-level(인구 집단 단위) 차원을 아우르는 우울증 환자 시뮬레이터 행위에 대한 해석 가능하며 임상적으로 근거된 진단을 제공하는 자동 평가 프레임워크인 PSI-Bench를 소개합니다. PSI-Bench를 사용하여 두 가지 시뮬레이터 프레임워크에서 7 개의 LLM 을 벤치마크한 결과, 시뮬레이터가 지나치게 길고 어휘적으로 다양한 응답을 생성하며, 변동성이 감소하고 감정을 너무 빨리 해결하며, 일관된 부정에서 긍정으로 가는 궤적을 따른다는 것을 발견했습니다. 또한 시뮬레이션 프레임워크가 모델 규모보다 충실도(fidelity)에 더 큰 영향을 미친다는 점도 보여주었습니다. 인간 연구 결과로부터 얻은 결과는 우리의 벤치마크가 전문가 판단과 강하게 일치함을 입증합니다.我们的工作는 현재 우울증 환자 시뮬레이터의 주요 한계를 드러내고, 향후 시뮬레이터 설계 및 평가를 위한 해석 가능하며 확장 가능한 벤치마크를 제공합니다.