자기 지도(Self-supervised) 사전 훈련 파운데이션 모델(FM)은 비침습적 뇌전도(EEG) 디코딩 응용 분야에서 초기 가능성을 보여주었습니다. 최근 많은 대규모 모델들은 원시 EEG를 토큰화한 후 마스크 복원 사전 훈련 방식을 채택하는 방향으로 수렴했습니다. 하지만 이 방식은 높은 노이즈 진폭을 가지며 정보가 좁은 주파수 대역과 같은 제한된 차원에 국한되는 EEG와 같은 데이터에 최적이 아님(suboptimal)이 밝혀졌습니다. 이러한 통찰력을 바탕으로, 우리는 다중 스케일 시간 컨볼루션 입력 계층과 트랜스포머 인코더 블록을 갖춘 새로운 대조 학습 기반 EEG 모델인 CoCoT를 개발했습니다. CoCoT는 이질적인 전극 구성을 가진 광범위한 벤치마크 디코딩 작업에서 최신 복원 사전 훈련 EEG 모델들과 동등하거나 능가하는 성능을 보였습니다. 더욱이, 처음부터(from scratch) 훈련된 CoCoT는 이전의 단일 작업 디코딩 모델들보다 뛰어난 성능을 보였으며, 심지어 사전 훈련된 모델과도 경쟁할 수 있음을 보여주며 아키텍처의 유연성과 데이터 효율성을 입증했습니다. 모델 아키텍처와 사전 훈련 목적을 포함한 체계적인 제거(ablations)를 통해, 우리는 EEG FM 구축을 위한 대조 학습의 실현 가능성을 입증하는 동시에, 대체 대규모 사전 훈련 전략에 대한 추가 조사를 촉진하는 핵심 아키텍처 설계 고려 사항들을 제시했습니다.