의료 예측 분야 블랙박스 LLM 해석을 위한 대리 모델링 프레임워크

요약

본 논문은 방대한 지식을 내포하지만 작동 원리가 불투명한(black-box) 거대 언어 모델(LLM)의 해석 가능성 문제를 다룹니다. 연구진들은 '대리 모델링 (Surrogate Modeling)' 프레임워크를 제안하여, 도메인 지식 기반 가설을 검증하며 LLM이 인코딩한 잠재적 지식 공간을 정량적으로 설명합니다. 특히 의료 예측 시나리오에서 이 프레임워크를 적용하여, LLM이 각 입력 변수를 출력과 어떤 관계로 '인지'하는지 밝혀냈습니다. 실험 결과는 LLM이 기존 의학 지식에 모순되는 연관성을 보이거나, 과학적으로 반박된 인종적

핵심 포인트

• 제안된 대리 모델링 프레임워크는 관찰 가능한 요소(입출력 쌍)를 통해 LLM의 잠재적 지식 공간을 정량적으로 근사하여 해석 가능성을 높입니다.
• 의료 예측 분야 PoC 실험에서, 이 프레임워크는 LLM이 각 입력 변수를 출력과 어떤 관계로 '인식'하는지 구체적으로 보여주었습니다.
• 실험 결과, LLM은 확립된 의학 지식에 모순되는 연관성을 보이거나 과학적으로 반박된 인종적 편향을 내포하고 있음을 정량적으로 입증했습니다.
• 이 프레임워크는 LLM의 안전하고 신뢰할 수 있는 적용을 돕는 '위험 경고(red-flag)' 지표로 활용될 수 있습니다.