폴란드 의학 시험을 통한 고성능 LLM 재평가: 진정한 역량인가 편향에 의한 성능인가?

요약

본 논문은 의료 LLM 평가의 한계를 지적하며, 기존 객관식 문항(MCQA) 방식이 추측과 편향에 의해 실제 임상 능력을 과대평가할 수 있다고 주장합니다. 이를 개선하기 위해 폴란드 의학 시험을 기반으로 확장되고 구조적으로 수정된 새로운 벤치마크를 개발하여 LLM의 진정한 역량을 평가했습니다.

핵심 포인트

• 기존 MCQA 방식은 추측 및 편향에 취약해 실제 임상 능력을 과대평가할 수 있습니다.
• 폴란드 의학 시험 기반의 새로운 벤치마크를 도입하여 LLM의 진정한 역량을 측정했습니다.
• 새로운 설정 하에서 최고 성능 모델도 기존 대비 점수 하락을 보여, 평가 설계의 중요성을 입증했습니다.
• 개발된 벤치마크는 연구 커뮤니티에 공개되어 추가적인 연구를 지원합니다.