3D 신경영상 분류를 위한 다중 데이터셋 기반 다중 인스턴스 학습 벤치마크

교육에 많은 리소스가 소요되기는 하지만, 3D 합성곱 신경망 (3D CNNs) 은 CT 와 MRI 스캔을 분류하는 데 있어 표준적인 접근법으로 자리 잡았습니다. 최근 연구는 사전 학습된 이미지 인코더 (pre-trained image encoder) 를 사용하여 각 2D 슬라이드를 임베딩할 때 이를 고정시키고, 오직 풀링 연산과 분류기만 학습되는 경우 특히 3D 뇌 스캔에 대해 심층 다중 인스턴스 학습 (deep multiple instance learning, MIL) 이 더 효율적인 대안이 될 수 있음을 시사합니다. 본 논문에서는 두 개의 대규모 데이터셋 (각각 최소 10,000 개 이상의 스캔 포함) 을 포함한 세 개의 CT 와 네 개의 MRI 데이터셋에 걸쳐 단순한 MIL, 주의 기반 MIL, 3D CNNs, 그리고 3D ViTs 를 체계적으로 비교합니다. 우리의 목표는 리소스 제약이 있는 실무자들이 어떤 신경망이 3D 신경영상에 적합한지 그 이유를 이해하도록 돕는 것입니다. 우리는 또한 주의 기반 MIL 의 설계 선택지를 비교하며, 여기에는 다른 인코더, 풀링 연산, 그리고 구조적 순서를 포함합니다. 우리는 학습 가능한 주의 (learnable attention) 가 전혀 없는 단순한 평균 풀링 MIL 이 6 개 중 4 개의 중간 규모 작업에서 최근의 MIL 또는 3D CNN 대안과 맞먹거나 더 나은 성능을 보인다는 것을 발견했습니다. 이 베이스라인은 두 개의 대규모 데이터셋에서도 경쟁력을 유지하며, 교육 속도는 25 배 빠릅니다. 평균 풀링 의 성공을 설명하기 위해 슬라이스별 주의 품질과 베이즈 추정량 (Bayes estimator) 을 통해 최적의 분류기를 도출할 수 있는 반합성 데이터셋을 조사했습니다. 이 분석은 기존 MIL 접근법의 한계를 드러내고 향후 개선을 위한 방향을 제시합니다.