느린 fMRI를 이용한 언어 인코딩 모델의 미세 조정(Fine-tuning)이 빠른 ECoG 예측 성능을 향상시킨다

신경과학자들은 최근 정밀한 공간 및 시간 해상도를 제공하는 피질전도(ECoG)와 같은 두개 내 뇌 기록 방식(intracranial brain recording methods)을 인간 실험에 활용하기 시작했습니다. 그러나 이 데이터로 학습된 모델은 기록에 필요한 임플란트(implants)를 삽입할 수 있는 환자 집단에 의해 근본적으로 제한됩니다. 우리는 학습 데이터의 격차를 줄이기 위해 비침습적 fMRI를 사용할 것을 제안합니다. fMRI로 미세 조정(fine-tuned)된 언어 표현(spoken language representations)을 사용하여 ECoG의 인코딩 모델(encoding models)을 구축했습니다. 이러한 표현은 fMRI의 시간 해상도가 두 자릿수(two orders of magnitude)만큼 더 낮음에도 불구하고, ECoG에서 향상된 예측 성능을 보여주었습니다. 예측 성능은 fMRI에서 직접 측정되는 범위를 훨씬 넘어서는 주파수 대역(frequency bands)에서도 향상되었습니다. 다음으로, 이 절차의 일반화 능력(generalization ability)을 테스트하기 위해, 시간적으로 2배 다운샘플링(downsampled)된 fMRI 반응을 사용하여 모델을 미세 조정했습니다. 해상도 손실에도 불구하고, 이 모델들은 원래의 fMRI 미세 조정 모델과 유사한 수준으로 fMRI 및 ECoG 반응을 예측할 수 있었습니다. 마지막으로, 우리는 ECoG 성능이 fMRI 미세 조정 데이터의 양에 따라 꾸준히 확장(scales)됨을 보여주었습니다. 우리의 결과는 fMRI와 같은 "느린" 데이터가 ECoG와 같은 "빠른" 뇌 데이터를 위한 더 나은 모델을 구축하는 데 귀중한 자원이 될 수 있음을 보여줍니다. 향후 여러 기록 방식을 통합하는 것은 디코딩(decoding)과 같은 다른 응용 분야에서 성능을 더욱 향상시킬 수 있을 것입니다.