LLM 행동에서의 인지적 위축(COGNITIVE ATROPHY) 이해 및 측정에 관한 연구

정신 건강 지원을 위해 사용되는 LLM(대규모 언어 모델)과 관련된 최근 사례들은 중요한 평가 격차를 드러냅니다. 즉, 표면적인 안전성 점수만으로는 모델이 시간이 흐름에 따라 현실적이고 정서적으로 민감한 상호작용 속에서 어떻게 행동하는지를 포착하지 못한다는 점입니다. 기존의 벤치마크(Benchmarks)들은 지식, 안전성 또는 정적인 응답 품질을 측정하지만, LLM과의 상호작용이 사용자가 스스로 성찰하고, 대처하며, 결정을 내리는 데 도움이 되는지 여부는 놓치고 있습니다. 우리는 이 누락된 차원을 인지적 위축(COGNITIVE ATROPHY)으로 공식화하며, 이는 안전성(Safety) 및 유용성(Helpfulness)과는 구별되는 AI 매개 정신 건강 지원에서의 프로세스 수준 행동 측정 지표입니다. 이를 측정하기 위해, 우리는 5개의 LLM으로부터 생성된 1,576개의 완전한 인간 생성 상담 대화, 15,680개의 턴(Turns), 그리고 42,230개의 응답을 바탕으로 구축된 임상적 근거 기반 벤치마크인 COGNITIVE ATROPHY BENCH를 도입합니다. 세 명의 임상 및 신경심리학 전문가가 사용자 맥락, 응답 행동 및 전역적 위험 플래그(Global risk flags)를 아우르는 20가지 속성 스키마(Schema)를 개발하였으며, 6명의 훈련된 임상 검토자들이 구간 근거(Span-grounded evidence)와 함께 이를 적용하여 5,324개의 검토자 판단을 생성했습니다. 나아가 우리는 사용자 입력 위험 지수(User-Input Risk Index, UIRI), 인지적 위축 위험 지수(Cognitive Atrophy Risk Index, ARI), 그리고 궤적 요약(Trajectory summaries)을 도입합니다. 5개의 LLM을 대상으로 조사한 결과, 모델들은 단일 및 다중 턴 설정 모두에서 위축과 일치하는 행동을 일관되게 중간에서 높은 수준으로 보여주었습니다. 모델들이 일반적으로 명시적인 안전 신호에는 반응하지만, 사용자가 해결책이나 결정을 구할 때는 덜 신뢰성 있게 적응합니다. 지배적으로 반복되는 패턴은 지시적 조언(Directive advice), 문제 해결(Problem-solving), 권고 응답(Recommendation responses), 주제 전환(Topic shifts), 그리고 성찰보다는 의존성을 강화할 수 있는 형태의 확인(Validation)입니다. 우리의 연구는 인지적 위축(COGNITIVE ATROPHY)을 측정 가능하게 만들며, 민감한 LLM 대화에서 모델의 행동을 감사(Auditing)하기 위한 토대를 제공합니다.