다중 턴 의료 대화에서 오개념에 대한 거대 언어 모델 평가

요약

본 논문은 의료 대화에서 환자의 오개념(misconception)을 식별하고 교정하는 LLM의 능력을 평가하기 위해 ThReadMed-QA 데이터셋을 소개합니다. 실험 결과, 최신 모델들도 다중 턴 컨텍스트가 진행됨에 따라 오개념 교정 성능이 크게 저하되는 경향을 보였습니다. 이는 오류 전파(error propagation) 문제가 심각함을 시사하며, 지속적인 평가 프레임워크의 필요성을 강조합니다.

핵심 포인트

• 다중 턴 의료 대화 데이터셋 ThReadMed-QA를 제시함.
• LLM은 초기에는 오개념을 잘 교정하지만, 후속 턴에서 성능이 급격히 저하됨.
• 성능 저하는 주로 오류 전파(error propagation)에 기인함.
• 다중 턴 행동을 포착하는 새로운 평가 프레임워크가 필요함.