MRI-Eval: MRI 물리 및 GE 스캐너 운영 지식을 평가하는 계층별 벤치마크

요약

MRI-Eval은 기존의 객관식 문제(MCQ) 기반 MRI LLM 벤치마크의 한계를 극복하기 위해 개발된 계층적 평가 도구입니다. 이 벤치마크는 교재, GE 스캐너 매뉴얼 등 다양한 출처를 활용하여 총 1365개의 문항을 포함하며, 특히 MRI 물리 및 특정 제조사(GE) 스캐너 운영 지식에 대한 모델의 깊이 있는 이해도를 측정하는 데 중점을 둡니다. 연구 결과, 높은 MCQ 점수가 실제 벤더별 운영 지식이나 자유 텍스트 회상 능력까지 보장하지 못함을 보여주었으며, LLM이 특정 프로토콜 가이드라인을 따를 때 주의가 필요함을 시사합니다.

핵심 포인트

• MRI-Eval은 기존의 단순 MCQ 의존도를 넘어선 계층적이고 실무적인 MRI 지식 평가 벤치마크이다.
• 평가 항목은 교재, GE 매뉴얼 등 다양한 출처에서 수집되었으며 총 1365개의 문항으로 구성되었다.
• LLM의 높은 전체 MCQ 정확도는 특정 제조사(GE) 스캐너 운영이나 자유 텍스트 회상 능력과 같은 깊이 있는 지식까지 반영하지 못할 수 있다.
• 줄기만(stem-only) 평가를 통해 옵션에 의존하지 않는 순수한 모델의 추론 및 회상 능력을 측정하는 것이 중요하다.