Imagined-to-Listened MEG 매핑을 통한 제로샷(Zero-Shot) 상상 음성 디코딩

요약

본 연구는 비침습적 MEG 기록을 활용하여 상상된 음성을 디코딩하는 새로운 접근 방식을 제안합니다. 기존의 어려움(데이터셋 부족, 시간 정렬 문제)을 극복하기 위해, 훈련된 음악가들로부터 청취 및 상상에 대한 쌍으로 이루어진 MEG 데이터를 수집했습니다. 개발된 세 단계의 디코딩 파이프라인은 상상과 청취 간의 신경 활동 관계를 밝혀냈으며, 이는 확장 가능하고 실제 BCI 시나리오에 적용 가능한 결과를 보여주었습니다.

핵심 포인트

• 청취 중 MEG 기록을 활용하여 상상 음성 디코딩의 어려움을 극복하는 새로운 방법론 제시.
• 훈련된 음악가들을 대상으로 청취 및 상상에 대한 쌍으로 이루어진(paired) MEG 데이터를 수집하여 시간 정렬 문제를 개선함.
• 세 단계의 디코딩 파이프라인을 개발하여, 동일 자극에 대한 상상과 청취 간의 신경 활동 관계를 분석함.
• 모델 성능이 훈련 데이터 크기에 따라 향상됨을 입증하여, 이 접근 방식의 확장성과 실제 BCI 적용 가능성을 시사함.