심층 지형적 다중 모달 모델을 통한 기능적 선택적 뇌 영역의 발견

피질 (Cortex) 내의 인접한 뉴런들은 유사한 반응 프로파일 (Response profiles)을 공유하며, 감각 및 인지 시스템 전반에 걸쳐 체계적인 공간적 조직화를 생성합니다. 최근의 지형적 모델 (Topographic models)들은 이러한 구조의 측면들을 재현하지만, 여전히 단일 모달 (Unimodal) 상태이며 각 층을 개별적으로 공간적으로 제한하기 때문에, 피질 처리 스트림 (Cortical processing streams)의 연속성이나 모달리티 간의 통합을 포착하지 못하는 파편화된 지도를 생성합니다. 우리는 시각, 청각, 그리고 언어/인지 처리가 단일한 연속적 인실리코 (In-silico) 시트를 공유하는 지형적 다중 모달 모델 (Topographic multimodal model)인 Topo-Omni를 소개합니다. 공간적 매끄러움 (Spatial smoothness) 목적 함수를 사용하여 사전 학습된 파운데이션 모델 (Foundation model)을 미세 조정 (Fine-tuning)하여 구축된 이 아키텍처는, 감각에서 인지 시스템에 이르기까지 인간의 신경 영상 (Neuroimaging)과 일치하는 모달리티 간 클러스터 (Clusters)를 발달시킵니다. 특정 클러스터를 구동하거나 억제하면 지각 (Perception)이 선택적으로 편향되거나 손상되며, 이는 인간 대상의 개입 연구 (Intervention studies)와 유사합니다. 마지막으로, 우리는 이 모델을 사용하여 인실리코에서 새로운 클러스터를 스크리닝하고, 인간 데이터에서 검증된 새로운 자연 경관 및 동물 네트워크를 발견합니다. 따라서 단일한 공간적 원리가 모달리티와 처리 단계 전반에 걸쳐 표현 (Representations)을 조직하며, 피질 조직 (Cortical organization)에 대한 검증 가능한 가설을 제시합니다.