영상의학과 의사들은 이질적인(heterogeneous) 보고 관행을 따릅니다. 같은 이미지를 검토하고 동일한 임상 소견을 파악했음에도 불구하고, 두 명의 영상의학과 의사는 용어, 약어, 형식, 세부 수준에서 차이를 보이는 표면적으로는 구별되는 보고서를 작성할 수 있습니다. 이러한 보고 관행의 변화는 기계가 생성한 보고서가 인간이 생성한 참고 자료와 얼마나 일치하는지를 기준으로 평가되는 AI 기반 영상의학과 보고서 생성(RRG) 모델을 평가하려는 노력에서 과소평가된 장애물입니다. 본 논문에서는 확립된 평가 지표들이 보고 관행의 변화에 얼마나 민감한지 정량적으로 측정하고, 모델들의 순위를 바꿀 만큼 충분히 큰 영향을 밝혀냅니다. 우리는 영상의학과 보고 관행의 변화에 대한 의사 기반 분류 체계(taxonomy)와 임상적 해석을 유지하면서 참고 보고서를 우리의 분류 축을 따라 다시 작성하는 방법(ReRef)을 소개합니다. 예를 들어, RadCliQ-v1을 사용하여 MIMIC-CXR에서 9개의 RRG 모델 성능을 비교할 때, 참고 보고서에서 정상 소견에 대한 논의를 압축하면 Libra가 1위에서 2위로 떨어지고 CheXOne이 3위에서 1위로 상승하는 현상이 발생합니다. 우리의 결과는 현재 많은 지표들이 임상적 해석과 보고 관행 준수 여부를 분리하지 못하며, 원하는 보고 관행을 정확하게 반영하는 '올바른' 참고 자료를 선택하는 것이 실제적으로 중요할 수 있음을 시사합니다. 향후 연구를 지원하기 위해, 우리는 MIMIC-CXR에서 파생된 120개의 (원본, 대안) 참고 보고서 쌍으로 구성된 의사 검증 데이터셋인 MIMIC-CXR-Ext-ReRef를 공개합니다.