블랙박스에서 임상적 통찰로: 음성 기반 인지 장애 탐지를 위한 다단계 설명 가능한 프레임워크
요약
음성 기반 인지 장애 탐지 모델의 블랙박스 문제를 해결하기 위해 SHAP, 언어적 특징, LLaMA-3.1을 결합한 다단계 설명 가능 프레임워크를 제안합니다. 이 프레임워크는 모델의 예측을 임상적으로 유의미한 언어적 차원으로 변환하여 높은 사용성과 정확도를 보여줍니다.
핵심 포인트
- SHAP 및 LLaMA-3.1을 활용한 4단계 설명 가능 파이프라인 제안
- NIA PREPARE 벤치마크에서 F1 스코어 72.11% 달성
- 모델 출력을 어휘, 통사, 의미론적 차원으로 매핑하여 임상적 근거 제공
- 의사 평가 결과 환자 인지 프로필과 높은 일치성 확인
- 시스템 사용성 점수 82/100으로 임상 워크플로우 통합 잠재력 입증
음성 기반 인지 장애 탐지(Speech-based cognitive impairment detection)는 비용이 많이 드는 바이오마커 분석에 대한 비침습적이고 접근 가능한 대안을 제공하지만, 트랜스포머(Transformer) 기반 모델은 여전히 임상적으로 해석이 불가능합니다. 본 연구에서는 SHapley Additive exPlanations (SHAP) 기반의 토큰 기여도 산출(token attribution), 이론에 기반한 언어적 특징(linguistic features), 그리고 LLaMA-3.1-70B-Instruct를 사용하는 4단계 LLM 추론 파이프라인을 통합하여, 블랙박스 형태의 트랜스포머 예측을 임상적으로 근거 있는 서사로 변환하는 다단계 설명 가능성 프레임워크(multi-stage explainability framework)를 제안합니다. NIA PREPARE 벤치마크에서 F1 = 72.11%를 기록한 SpeechCARE-Adaptive Gating Network 멀티모달 스크리닝 모델을 기반으로 구축된 이 프레임워크는 모델 출력을 어휘 풍부성(lexical richness), 통사적 복잡성(syntactic complexity), 의미론적 일관성(semantic coherence)을 포함한 4가지 인지-언어적 차원으로 매핑합니다. 70개의 층화된 영어 샘플에 대한 의사 평가 결과, 환자 수준의 인지 프로필과 강력한 일치성을 보였으며, 시스템 사용성 척도(System Usability Scale) 점수는 82/100을 기록하여 임상 워크플로우 통합에 대한 높은 잠재력을 나타냈습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기