MedGuards: 신뢰할 수 있는 의료 오류 탐지 및 수정을 위한 멀티 에이전트 시스템

대규모 언어 모델 (LLMs)이 의료 환경에 점점 더 많이 배치됨에 따라, 생성된 텍스트나 기존 텍스트 내의 정확한 오류 탐지 및 수정이 매우 중요해지고 있습니다. 아주 작은 실수라도 환자의 안전에 위험을 초래할 수 있기 때문입니다. 자동 점검 및 휴리스틱 기반 접근 방식을 포함한 기존의 오류 탐지 및 수정 방법들은 보지 못한 데이터셋(unseen datasets)에 대해 일반화가 잘 되지 않습니다. 본 논문에서는 의료 안전 가드레일(guardrail)로서 MedGuards를 제안합니다. 이는 의료 오류 탐지 및 수정을 멀티 에이전트 인컨텍스트 학습 (multi-agent in-context learning) 작업으로 취급하는 새로운 프레임워크입니다. 특화된 에이전트들이 오류를 각각 탐지, 위치 파악 및 수정하며, 신뢰도 기반 중재 (confidence-guided arbitration) 메커니즘이 추론 흔적 (reasoning traces)과 신뢰도 점수를 사용하여 의견 불일치를 해결합니다. 이러한 설계는 기본 LLM의 추가 학습을 요구하지 않으면서도 해석 가능성 (interpretability), 견고성 (robustness), 적응성 (adaptability)을 향상시킵니다. 또한, 우리는 참조 텍스트 내의 핵심 키워드가 올바르게 생성되었는지 고려하는 새로운 평가 지표인 키워드 우선순위 수정 점수 (Keyword-Prioritized Correction Score, KPCS)를 도입하여, 기존 지표보다 더 포괄적인 평가를 제공합니다. 임상 노트로 구성된 4개의 다국어 의료 데이터셋에 대한 실험을 통해, 제안된 프레임워크가 여러 지표와 모델에 걸쳐 상당한 개선을 보임을 입증했습니다. 우리의 목표는 실제 의료 애플리케이션에서 LLM의 더 안전한 배포를 가능하게 하는 것입니다. 재현성을 위해, 우리의 코드를 https://github.com/congboma/MedErrBench 에서 공개적으로 사용할 수 있도록 제공합니다.