예측 정확도를 넘어: 모델-뇌 정렬 평가를 위한 타겟 공간 복구 프로파일 (Target-Space Recovery Profiles)

인공 시각 모델 (Artificial vision models)은 내부 표현 (internal representations)이 뇌의 반응을 얼마나 정확하게 예측하는지를 측정함으로써 인간의 시각 피질 (visual cortex)과 비교하여 자주 평가됩니다. 그러나 예측 정확도 (prediction accuracy)만으로는 타겟 뇌의 반응 공간 (response space) 중 어떤 차원 (dimensions)이 복구되는지를 나타내지 못합니다. 본 연구에서는 예측에 의해 복구되는 반응 차원을 식별함으로써, 모델-뇌 (model-brain) 정렬과 뇌-뇌 (brain-brain) 정렬을 모두 평가하기 위한 통합 프레임워크를 소개합니다. 반복적인 fMRI 측정을 사용하여, 우리는 먼저 독립적인 시행 분할 (trial splits) 전반에 걸쳐 재현 가능하게 예측될 수 있는 타겟-뇌 반응 차원을 식별합니다. 그런 다음 다른 피험자의 뇌 반응 또는 시각 모델의 내부 표현으로부터 타겟-뇌 반응을 예측하고, 이러한 재현 가능한 각 반응 차원이 얼마나 강력하게 복구되는지를 정량화합니다. 8명의 피험자가 fMRI 촬영 중 동일한 자연 이미지를 시청한 Natural Scenes Dataset의 하위 집합에 이 프레임워크를 적용한 결과, 초기에서 중간 단계의 시각 피질 반응이 재현 가능한 저차원 차원 집합을 포함하고 있음을 발견했습니다. 뇌-뇌 비교를 통해 이러한 차원 중 어떤 것이 다른 피험자의 뇌로부터 일관되게 복구 가능한지를 식별하며, 이는 단순한 스칼라 벤치마크 (scalar benchmark)가 아닌 진단적인 인간 참조 (diagnostic human reference)를 제공합니다. 어떤 경우에는 사전 학습된 (pretrained) 모델과 무작위로 초기화된 (randomly initialized) 모델이 유사한 예측 정확도를 달성하면서도, 이러한 반응 차원 전반에 걸쳐 서로 다른 복구 프로파일 (recovery profiles)을 보여줍니다. 이러한 결과는 예측 정확도만으로는 모델-뇌 불일치 (model-brain mismatches)를 가릴 수 있음을 보여줍니다. 재현 가능한 뇌 반응 차원 중 어떤 것이 예측에 의해 복구되는지를 명시함으로써, 우리의 프레임워크는 인공 시각 모델과 인간 시각 피질 사이의 정렬에 대해 더욱 진단적인 평가를 제공합니다.