MRI-Eval: MRI 물리 및 GE 스캐너 운영 지식을 평가하는 계층별 벤치마크

Background (배경)
기존 MRI(자기공명영상) LLM(대규모 언어 모델) 벤치마크는 주로 리뷰북의 객관식 문제 (multiple-choice questions) 에 의존하며, 상위 전용 모델은 이미 높은 점수를 얻어 구별력이 제한적입니다. 연구용 MRI 실무에서 핵심적인 벤더별 스캐너 운영 지식을 평가하는 체계적인 벤치마크는 존재하지 않습니다.

Purpose (목적)
우리는 1 차 객관식 문제 (MCQ) 를 사용하여 MRI 물리 및 GE 스캐너 운영 지식에 대한 상대적 모델 비교를 위한 계층별 벤치마크인 MRI-Eval 을 개발했습니다. 줄기만 (stem-only) 과 유도된 진단 조건 (primed diagnostic conditions) 을 보조 분석으로 활용했습니다.

Methods (방법)
MRI-Eval 은 교재, GE 스캐너 매뉴얼, 프로그래밍 과정 자료, 전문가 생성 문제에서 9 가지 카테고리 및 3 개의 난이도 계층에 걸쳐 총 1365 개의 점수 항목을 포함합니다. 평가된 모델 가족은 5 개 (GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6, Gemini 2.5 Pro, Llama 3.3 70B) 입니다. MCQ 가 주된 방법이며, 줄기만은 옵션을 제거하고 독립적인 LLM 판정사를 사용했으며, 유도된 줄기만은 잘못된 사용자 주장에 대한 응답을 테스트했습니다.

Results (결과)
전체 MCQ 정확도는 93.2% 에서 97.1% 로 나타났습니다. 모든 모델에서 GE 스캐너 운영이 가장 낮은 카테고리였습니다 (88.2% 에서 94.6%). 줄기만 평가에서 프론티어 모델의 정확도는 58.4% 에서 61.1% 로 하락했으며, Llama 3.3 70B 는 37.1% 로 하락했습니다. GE 스캐너 운영 줄기만 정확도는 13.8% 에서 29.8% 였습니다.

Conclusion (결론)
높은 MCQ 성능은 특히 벤더별 운영 지식에 대한 약한 자유 텍스트 회상 (free-text recall) 을 가릴 수 있습니다. MRI-Eval 은 절대적 능력 측정기보다는 상대적 비교 벤치마크로서 가장 정보량이 많으며, GE 특정 프로토콜 가이드를 위해 원본 LLM 출력 사용에 주의가 필요함을 지원합니다.