완전 개방형 Meditron: 임상용 LLM을 위한 감사 가능한 파이프라인

요약

임상 의사 결정 지원 시스템(CDSS)의 투명성을 높이기 위해 데이터 출처부터 학습 프레임워크, 평가 프로토콜까지 전 과정을 공개하는 'Fully Open Meditron' 파이프라인을 제안합니다. 이 파이프라인은 임상 의사가 검증한 데이터셋과 엄격한 오염 방지 절차를 포함하며, 다양한 베이스 모델에 적용했을 때 기존 모델보다 뛰어난 의료 성능을 입증했습니다. 특히 Apertus-70B-MeditronFO는 새로운 FO SoTA를 기록하며 완전 개방형 방식의 효용성을 증명했습니다.

핵심 포인트

• 기존 open-weight 모델과 달리 데이터 큐레이션 및 생성 파이프라인 전체를 공개하는 완전 개방형(Fully Open) 접근 방식 도입
• 임상 의사가 검증한 8개의 QA 데이터셋과 합성 확장 데이터셋을 활용한 고품질 학습 코퍼스 구축
• 오염 방지(decontamination) 및 골드 라벨 재샘플링 등 재현 가능한 학습 스택 제공
• Apertus-70B 및 Gemma-3-27B 기반 모델이 기존 의료 특화 모델(MedGemma 등) 대비 우수한 성능 기록