Transformer 기반 EEG 파운데이션 모델을 위한 위치 인코딩 (Positional Encoding) 전략 벤치마킹

뇌-컴퓨터 인터페이스 (BCI) 애플리케이션에서 뇌 활동을 측정하기 위해 널리 사용되는 비침습적 기술은 뇌전도 (Electroencephalography, EEG)입니다. 지도 학습 기반의 EEG 디코딩 모델은 종종 작업 (task), 피험자 (subject), 그리고 데이터셋 (dataset) 간의 일반화에 어려움을 겪으며, 이는 자기 지도 학습 (self-supervised learning)으로 학습된 Transformer 기반 EEG 파운데이션 모델 (foundation models)의 필요성을 불러일으켰습니다. Transformer는 순열 불변성 (permutation-invariance)을 가지기 때문에 명시적인 위치 정보 (positional information)가 필요합니다. 텍스트 토큰 (textual tokens)과 달리, EEG 전극은 두피 전체에 공간적으로 분포되어 있어, Transformer 기반 EEG 모델에서 전극 위치를 어떻게 인코딩해야 하는지에 대한 의문을 제기합니다. 본 연구에서는 CBraMod 백본 (backbone) 내에서 다섯 가지 위치 인코딩 (positional encoding) 전략을 벤치마킹하고, 운동 상상 (motor imagery) 분류 및 감정 인식 (emotion recognition) 작업에 대해 선형 프로빙 (linear probing) 및 미세 조정 (fine-tuning) 프로토콜 하에서 이를 평가합니다. 연구 결과, 단일 전략이 모든 작업에서 일관되게 우수한 성능을 보이지는 않는 것으로 나타났습니다. 구형 위치 인코딩 (Spherical Positional Encoding, SPE)은 운동 상상에 대해 강력한 표현 (representations)을 생성하지만 감정 인식에서는 성능이 저하되는 반면, 비대칭 조건부 위치 인코딩 (Asymmetric Conditional Positional Encoding, ACPE)은 작업 전반에 걸쳐 더 일관된 성능을 보여줍니다. 이러한 발견은 최적의 위치 인코딩 전략이 작업에 따라 달라지며, EEG 디코딩 시나리오 전체에 적용되는 보편적인 해결책은 없음을 시사합니다.