장기 이력 인지형 의료 대화의 합성 및 평가

요약

본 연구는 환자의 장기적인 의료 이력을 기억하고 추론할 수 있는 헬스케어 에이전트 개발을 위해, LLM을 활용하여 고품질의 장기 의료 대화 데이터셋인 MediLongChat을 구축하는 프레임워크를 제안합니다. 지식 가이드 분해 방식을 통해 합성 환자 프로필과 다회차 대화를 생성하며, 에이전트의 메모리 능력을 평가하기 위한 세 가지 벤치마크 태스크와 다차원 평가 프레임워크를 도입했습니다. 실험 결과, 최신 LLM들도 MediLongChat의 복잡한 추론 과제를 수행하는 데 어려움을 겪는 것으로 나타나 벤치마크의 유효성을 입증했습니다.

핵심 포인트

• 장기 의료 이력을 반영한 합성 대화 데이터셋 MediLongChat 구축 프레임워크 제안
• 지식 가이드 분해(Knowledge-guided decomposition)를 통한 환자 프로필 및 다회차 대화 생성
• 대화 내, 대화 간, 합성 추론을 포함하는 헬스케어 에이전트 전용 벤치마크 태스크 설정
• 벡터 기반 지표와 LLM-as-a-judge를 결합한 다차원 데이터 품질 평가 체계 도입
• 최신 LLM 모델들이 장기 의료 맥락 추론에서 한계를 보임을 확인