의료 물리학자들은 처방을 전달 용량으로 변환하고 서로의 계산을 확인하는데, 빔 교정(beam calibration)이나 모니터 유닛(monitor-unit, MU) 계산에서 단 하나의 오류가 해당 장비로 치료받는 모든 환자에게 영향을 미칠 수 있기 때문이다. MedPhysBench는 방사선 치료(radiation therapy), 진단 영상(diagnostic imaging), 핵 의학(nuclear medicine), 그리고 방사선 보호(radiation protection) 분야에 걸쳐 최대 TG-51 교정 워크시트와 같은 임상 과제까지 총 10개의 시드 생성기(seeded generators)를 갖추고 있다. 참조 답변은 지배적인 프로토콜을 구현하는 코드를 통해 제공되며, 채점기는 단위를 변환하고 허용 오차 범위(tolerance bands)를 적용한다. 동일한 입력값으로부터 별도의 검사 항목들은 오류 탐지(error detection)를 테스트하며, 동료의 워크시트 전체 또는 동료의 결과만 보여주는데, 이 중 절반은 정확하고 나머지 절반에는 의도적으로 삽입된 하나의 오류가 있다.
1,200개의 항목으로 구성된 별도 테스트 분할(held-out test split)에서 (두 모델에 각각 절반씩 할당), 12개 모델이 계산 점수에서 33.3%에서 100.0%를 기록했다. 상위 네 개 모델(99.3%-100.0%)의 경우, 채점 결과가 틀린 아홉 개의 답변 중 다섯 개는 모델 오류를 포함했고, 네 개는 항목들이 잘못 명시하거나 여지를 남긴 부분에 대해 NCRP Report 151을 따랐다.
그보다 낮은 성능의 모델들은 레벨-3 임상 과제에서 가장 저조한 성과를 보였고, Claude Sonnet 5.5는 20개의 등심(isocentric) MU 항목 중 19개에서 역제곱 수정(inverse-square correction)을 누락했다. 다섯 개의 모델은 대부분 큰 규모로 의도적으로 삽입된 오류 중 최소 96.7%를 탐지했으며 오탐률(false alarms)은 최대 4%에 불과했다. 나머지 일곱 개 모델 중 네 개는 결과만 확인하는 방식으로는 오탐률이 현저하게 높아졌다.
역제곱 수정 누락에 대한 20개의 공개 사례를 대상으로 한 탐색적 목표 테스트(exploratory targeted test)에서, 가장 우수한 세 모델은 모든 워크시트에서 이를 포착했으며, 세 개의 약한 모델은 20개 중 16~18개의 삽입된 워크시트를 수용했는데, 이 중 하나는 자체 계산의 대부분에 수정 사항을 적용하는 과정이었다. Claude Opus 5.5는 비록 자체적으로 20개 모두에 수정 사항을 적용했음에도 불구하고, 20개의 잘못된 결과 중 6개를 수용했다.
우리는 테스트 실행 후 발견된 차폐 항목(shielding items)의 두 가지 문제점을 보고하고, 코드와 항목별 결과 및 목표 테스트 응답을 공개한다.