Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
CaMBRAIN은 EEG 신호의 인과적 특성을 반영한 최초의 Mamba 기반 상태 공간 모델(SSM)입니다. 기존 어텐션 모델의 이차적 스케일링 문제를 해결하고, 다단계 자기지도 학습을 통해 실시간 연속 추론과 장기 문맥 유지를 가능하게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기뇌전도 (Electroencephalography, EEG)는 뇌의 전기적 활동을 모니터링하는 중요한 비침습적 방법입니다. EEG는 몇 초에서 수 시간까지 지속될 수 있으며, 이는 두 가지 주요 요인으로 인해 기존 딥러닝 (Deep Learning) 방법론에 큰 장애물이 됩니다: (1) 기존 EEG 모델들은 주로 어텐션 메커니즘 (Attention Mechanism)을 기반으로 구축되어 시퀀스 길이 (Sequence Length)가 증가함에 따라 이차적 스케일링 (Quadratic Scaling) 비용이 발생하며, (2) 원시 EEG 신호는 고정된 길이의 입력 요구 사항으로 인해 슬라이딩 윈도우 (Sliding-window) 방식으로 처리되어야 하므로 전체 신호에 대한 전역적 이해 (Global Understanding)가 불가능합니다. 이러한 측면에서, 우리는 EEG의 인과적이고 단방향적인 (Unidirectional) 특성을 고려할 때 양방향 (Bidirectional) 접근 방식은 불필요하게 비용이 많이 든다는 점을 논거로 삼아, EEG 신호의 실시간 추론이 가능한 최초의 인과적 Mamba 기반 상태 공간 모델 (State Space Model, SSM)인 CaMBRAIN을 제안합니다. 그러나 이러한 모델을 학습시키는 것은 쉽지 않은데, 중요한 EEG 이벤트는 1초 미만의 매우 짧은 순간일 수 있는 반면, 수 분에 걸친 긴 간격으로 떨어져 있을 수 있기 때문입니다. 현재의 EEG 방법론들은 신호 재구성 (Signal Reconstruction)을 최적화하는 자기지도 학습 (Self-supervised) 목적 함수를 사용하지만, 이는 스트리밍 SSM (Streaming SSMs)에는 적합하지 않습니다. 즉, 스트리밍 추론에 필요한 핵심적인 장기 문맥 (Long-range Context)을 유지하도록 은닉 상태 (Hidden State)를 명시적으로 학습시키는 데 실패합니다. 따라서 우리는 상태 공간 모델의 선형 시간 복잡도 (Linear-time Complexity)를 유지하면서, EEG 신호에 대한 장기 기억 유지와 강력한 성능을 장려하도록 특별히 설계된 다단계 자기지도 학습 파이프라인을 도입합니다. CaMBRAIN은 3가지 서로 다른 EEG 데이터셋에서 기존 모델보다 10배 이상 높은 처리량 (Throughput)을 기록하며 최첨단 (State-of-the-art, SOTA) 결과를 달성하였으며, 가변 길이의 EEG 신호에 대해 장기적이고 연속적인 추론이 가능한 최초의 모델을 가능하게 합니다.