LatentWave: 무선 파운데이션 모델을 위한 JEPA 사전 학습

무선 파운데이션 모델(Wireless foundation models)은 각 무선 작업마다 별도의 모델을 구축하는 방식의 유망한 대안으로 등장했습니다. 그러나 기존 방식들은 마스크된 입력 재구성(masked input reconstruction)에 의존하며, 이는 표현(representations)이 저수준의 신호 세부 사항(low-level signal details)에 편향될 수 있다는 문제를 가집니다. 본 논문에서는 다양한 무선 스펙트로그램(spectrograms)과 채널 상태 정보(CSI)를 바탕으로 결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)를 사용하여 사전 학습된 무선 파운데이션 모델인 LatentWave를 제안합니다. 잠재 공간(latent space) 내에서 마스크된 영역을 예측함으로써, LatentWave는 다양한 다운스트림 작업(downstream tasks)에 대해 별도의 추가 학습 없이도 즉시 전이 가능한(transferable out of the box) 표현을 학습합니다. 제안된 아키텍처는 사전 학습 과정에서 확률적 채널 샘플링(stochastic channel sampling)과 함께 채널별 패치 임베딩(per-channel patch embeddings)을 채택하여, 가변적인 안테나 수를 처리할 수 있게 하며 이기종 무선 구성(heterogeneous wireless configurations) 전반에 걸친 사용성을 향상시킵니다. 우리는 RF 신호 분류(RF signal classification), 5G NR 측위(5G NR positioning), 빔 예측(beam prediction), 그리고 LoS/NLoS 분류(LoS/NLoS classification)라는 네 가지 다운스트림 작업에서 LatentWave를 평가하였으며, 동일한 데이터로 사전 학습된 마스크 모델링 베이스라인(masked-modeling baseline, WavesFM)과 비교하였습니다. 또한, 마스킹 기하학(masking geometry)이 작업 의존적 유도 편향(task-dependent inductive bias)을 유발함을 보여줍니다. 즉, 주파수 마스킹(frequency masking)은 측위 및 빔 예측과 같은 채널 관련 작업에 강력하게 유리한 반면, 영역 마스킹(region masking)은 신호 분류를 위한 판별력(discriminability)을 더 잘 보존합니다.