역전파(Backpropagation)와 이미지에 대한 뇌 반응 계층 간의 불일치

역전파(Backpropagation)는 딥러닝(Deep Learning)의 근간이 되는 핵심 학습 메커니즘입니다. 그러나 이 알고리즘이 뇌에서 구현되는지, 그리고 어떻게 구현되는지에 대해서는 여전히 논쟁이 매우 치열합니다. 특히, 사전 학습된 모델의 순방향 활성화(Forward activations)는 시각 처리의 피질 계층(Cortical hierarchy)과 신뢰할 수 있게 매핑되는 반면, 역전파된 그래디언트(Backpropagated gradients)가 이와 유사한 대응 관계를 보이는지는 알려져 있지 않습니다. 본 연구에서는 자연 이미지에 대한 인간 뇌의 반응을 기능적 자기공명영상(fMRI) 및 뇌자도(MEG) 기록을 사용하여 이 질문을 다룹니다. 이를 위해, 우리는 순방향 활성화의 표준 인코딩 분석(Encoding analyses)을 확장하여 역전파된 그래디언트를 신경 데이터(Neural data)에 매핑했습니다. 최근의 자기지도 학습 비전 모델(DINOv3)에 집중하고 8개의 비전 모델에 대해 결과를 재현한 결과, 역전파된 그래디언트가 특히 고차원 시각 피질(Higher-level visual cortex)과 후기 지연 시간(Later latencies)에서 fMRI 및 MEG 신호 모두를 신뢰할 수 있게 예측할 수 있음을 발견했습니다. 그러나 뇌 내에서 이러한 역전파된 그래디언트의 공간적 및 시간적 조직은 생물학적으로 타당한 역전파 메커니즘 하에서 기대되는 패턴과는 다릅니다. 구체적으로, 그래디언트가 계산되는 순서와 그 공간적 조직 모두 인간 뇌의 시간적 및 공간적 계층 구조와 일치하지 않습니다. 종합적으로, 이러한 결과는 딥 네트워크(Deep networks)와 뇌가 유사한 표현 내용(Representational content)을 공유할 수는 있지만, 해당 표현을 학습하기 위해서는 근본적으로 다른 메커니즘에 의존할 가능성이 높음을 시사합니다.