다음 토큰 예측(Next-Token Prediction)을 통한 수면 생리학의 일반화 가능한 표현 학습

파운데이션 모델 (Foundation models)은 다중 모달 (multi-modal) 생체 신호를 인간 건강의 압축된 표현으로 변환하는 유망한 경로를 제공하며, 수면 의학, 심장학, 신경학 및 기타 의료 분야 전반에 걸쳐 폭넓은 응용 가능성을 가집니다. 기존 모델들은 일반적으로 마스크 재구성 (masked-reconstruction) 또는 대조 학습 (contrastive) 목적 함수를 사용하여 학습되어 왔습니다. 그러나 마스크 재구성은 이러한 신호의 확률적 (stochastic) 특성에 부적합할 수 있으며, 대조 학습 방식은 생체 신호의 의미론적 불변성 (semantic invariances)에 대한 이해가 부족함에도 불구하고 양의 쌍 (positive-pair) 정의에 의존한다는 한계가 있습니다. 본 연구에서는 다음 토큰 예측 (next-token prediction)이 단순하면서도 확장 가능한 대안임을 보여줍니다. 우리는 20,000개 이상의 야간 수면 다원 검사 (polysomnography) 기록에서 추출한 8가지의 서로 다른 감지 모달리티 (예: EEG, ECG, 호흡 신호)를 사용하여 학습된 다중 모달 수면 파운데이션 모델인 Hypnos를 개발했습니다. 우리는 잔차 벡터 양자화 (residual vector quantization)를 사용하여 각 모달리티를 이산 토큰 (discrete tokens) 스트림으로 토큰화한 다음, 모든 모달리티의 다음 토큰을 병렬로 공동 예측하는 대규모 자기 회귀 (auto-regressive) RQ-Transformer를 학습시킵니다. 학습 후, Hypnos는 지원되는 모달리티의 임의의 하위 집합으로부터 생성된 연속적인 센서 데이터 스트림에 적용되어 다운스트림 태스크 (downstream tasks)를 위한 임베딩 (embeddings)을 생성할 수 있습니다. 다양한 벤치마크에 걸쳐 Hypnos는 기존 파운데이션 모델들을 크게 능가합니다. 수면 단계 분류 (sleep stage classification)에서 Hypnos는 라벨링된 데이터를 100배 적게 사용하면서도, 홀드아웃 테스트 세트 (held-out test sets)에서 강력한 지도 학습 (supervised) 베이스라인의 성능과 대등한 결과를 보여주었습니다. Hypnos는 심지어 주간 생리학 (daytime physiology)으로도 일반화되어, 심방세동 (atrial fibrillation) 탐지에서 전용 ECG 파운데이션 모델을 능가합니다. 우리의 결과는 다음 토큰 예측이 다중 모달 생체 신호로부터 표현 학습 (representation learning)을 수행하기 위한 강력한 자기 지도 학습 (self-supervised) 목적 함수임을 입증합니다.