ECG 데이터를 활용한 Hierarchical-JEPA 기반의 다변량 시계열용 경량 자기지도 학습 (Self-Supervised
요약
심전도(ECG) 분석을 위해 계층적 구조를 가진 경량 자기지도 학습 프레임워크인 ER-JEPA를 제안합니다. ViT 백본과 이중 JEPA 구조를 활용하여 다변량 시계열 데이터에서 효율적인 추상적 표현을 학습합니다.
핵심 포인트
- 심장 전문의의 진단 방식에서 영감을 얻은 2단계 계층 구조 설계
- ViT 백본을 활용한 경량화된 Hierarchical JEPA(H-JEPA) 구현
- 180,000개의 ECG 기록을 활용한 대규모 사전 학습 수행
- ST-MEM 벤치마크에서 최첨단(SOTA) 성능 달성 및 자원 효율성 확보
의료 분야의 데이터 분석은 종종 제한된 타겟 데이터셋과 일반적인 분포를 가진 대규모 미주석(unannotated) 데이터셋이 공존하는 시나리오에 직면합니다. 이러한 상황에서 자기지도 학습 (Self-Supervised Learning, SSL) 방법은 대규모 데이터셋을 활용하는 데 매우 효과적이며, 심전도 (Electrocardiogram, ECG) 분석을 위한 인기 있는 선택지가 되고 있습니다. 본 연구는 다변량 시계열 (Multivariate Time Series)을 위한 경량 SSL 프레임워크인 Event Reconstruction Joint-Embedding Predictive Architecture (ER-JEPA)를 제시하며, 이 명칭과 이중 계층 구조는 심장 전문의의 진단 방식에서 영감을 얻었습니다. ER-JEPA의 핵심 특징은 다음과 같습니다: (1) 각 시간 간격에 대한 표현 (representation)을 구축한 후, 이러한 표현들을 단변량 시계열 (univariate time series)로 처리하는 2단계 구조, (2) 두 개의 Joint-Embedding Predictive Architectures (JEPAs)의 계층적 통합, (3) Vision Transformer (ViT) 백본 (backbone). 두 개의 JEPA를 구조적으로 결합함으로써 이 모델은 Hierarchical JEPA (H-JEPA)로 분류되며, 복잡한 작업에 대한 예측 성능을 향상시키기 위해 다중 수준의 추상적 표현 (abstract representations)을 인코딩하도록 설계되었습니다. 본 연구는 12유도 (12-lead) ECG 데이터를 다변량 시계열로 사용하여 H-JEPA를 성공적으로 적용했음을 보고하며, 사전 학습 (pretraining) 단계 동안 계층적 표현의 민감도에 대한 분석을 함께 수행합니다. 약 180,000개의 10초 분량 기록으로 사전 학습된 이 모델은 빠른 계산과 최소한의 자원 사용량을 유지하면서도, ST-MEM 벤치마크에서 최첨단 (state-of-the-art) 다운스트림 성능을 달성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기