이산적 프로토타입 메모리(Discrete Prototypical Memories)를 통한 연합 시계열 AI 성능 향상 방법

핵심 요약 (Key Takeaways)

• Global AI Innovation Lab의 연구진은 시계열 파운데이션 모델 (Time Series Foundation Models)을 위한 연합 학습 (Federated Learning)에 이산적 프로토타입 메모리 (Discrete Prototypical Memories)를 통합한 프레임워크인 FedProtoTS를 공개했습니다.
• FedProtoTS는 클라이언트가 민감한 원시 데이터 (Raw Data)나 전체 모델 업데이트 대신 압축된 대표 프로토타입 (Representative Prototypes)을 공유할 수 있게 함으로써 데이터 이질성 (Data Heterogeneity) 문제를 해결하고 프라이버시를 강화합니다.
• 이 접근 방식은 특히 자원이 제한된 에지 디바이스 (Edge Devices)에서의 연합 시계열 AI 배포에 대한 효율성과 확장성을 개선합니다.

연합 학습 (Federated Learning)은 오랫동안 대규모 프라이버시 보호 AI를 약속해 왔지만, 시계열 데이터 (Time Series Data)는 항상 그 중에서도 까다로운 약점 중 하나였습니다. Global AI Innovation Lab의 연구진이 개발한 새로운 프레임워크인 FedProtoTS는 다른 접근 방식을 취합니다. 클라이언트와 서버 간에 모델 가중치 (Model Weights)나 원시 임베딩 (Raw Embeddings)을 전송하는 대신, 로컬 시계열 패턴을 압축된 이산적 프로토타입 (Discrete Prototypes)으로 증류 (Distil)합니다. 그 결과, 통신 병목 현상 (Communication Bottleneck)과 데이터 유출 (Data Leakage) 문제를 한 번에 피할 수 있는 시스템이 탄생했습니다.

연합 학습 (Federated Learning)은 여러 클라이언트가 원시 데이터를 교환하지 않고도 공유 모델을 협력적으로 학습할 수 있게 하여, 프라이버시에 민감한 애플리케이션에 매우 적합합니다. 하지만 시계열 데이터는 표준적인 연합 방식이 제대로 처리하기 어려운 복잡성을 유발합니다. 클라이언트 간의 데이터셋은 종종 비-IID (non-IID, 비동일 독립 분포)인 경우가 많으며, 이는 서로 다른 클라이언트가 서로 다른 데이터 분포, 샘플링 속도 (Sampling Rates) 및 특징 세트 (Feature Sets)를 가질 수 있음을 의미합니다. 단순히 클라이언트 간의 모델 가중치를 평균 내는 FedAvg와 같은 방식은 이러한 조건에서 불안정하거나 최적화되지 않은 결과를 초래할 수 있습니다. 게다가 매 통신 라운드마다 대규모 모델 업데이트를 전송하는 것은 특히 대역폭과 연산 능력이 제한된 환경에서 작동하는 에지 디바이스 (Edge Devices)에게는 비용이 많이 드는 작업입니다.

파운데이션 모델 (Foundation models) — 다양한 작업과 도메인에 걸쳐 일반화가 가능한 대규모 사전 학습 모델 — 은 시계열 분석을 위한 유망한 경로를 제공합니다. 하지만 이를 연합 학습 (Federated setting) 환경에 적용하면 이러한 모든 과제들이 증폭됩니다. 이산적 프로토타입 메모리 (Discrete prototypical memories)는 이 문제를 직접적으로 해결합니다. 민감한 데이터를 공유하거나 무거운 모델 업데이트를 전송하는 대신, 클라이언트들은 로컬 시계열 데이터로부터 일반화된 패턴 요약본만을 추출하여 공유합니다. 이를 통해 원시 데이터 (Raw data)는 로컬에 유지하면서 글로벌 학습에 기여하고, 통신 오버헤드 (Communication overhead)를 크게 줄일 수 있습니다.

1단계: 연합 시계열 환경 구축하기

• **연합 학습 프레임워크 선택**
  

  첫 번째 단계는 시계열 데이터를 지원하고 사용자 정의 모델 아키텍처 및 집계 전략 (Aggregation strategies)을 허용하는 연합 학습 프레임워크를 선택하는 것입니다. 이미 확립된 옵션으로는 TensorFlow Federated, PySyft 및 Flower가 있습니다. NVIDIA FLARE는 확장 가능하고 안전한 연합 배포를 위해 설계된 엔터프라이즈급 오픈 소스 옵션이며, 최근 업데이트를 통해 개발자와 연구자를 위한 API 스택을 간소화했습니다. 선택한 프레임워크는 반드시 사용자 정의 로컬 학습 루프 (Local training loops)를 지원해야 하며, 이 단계에서 프로토타입 메모리 추출 기능이 통합될 것입니다. 통신 관리, 모델 업데이트 처리 및 보안은 모두 기본 요구 사항입니다.

• **데이터 전처리 및 파티셔닝**
  

  시계열 데이터는 다양한 길이, 결측치 (Missing values), 불규칙한 샘플링 속도 및 일관되지 않은 피처 세트 (Feature sets)와 같은 익숙한 문제들을 동반합니다. 연합 학습이 시작되기 전에 각 클라이언트의 로컬 데이터셋은 표준화된 전처리를 거쳐야 합니다. 이는 일반적으로 다음을 포함합니다:

정규화 (Normalisation): 값을 공통 범위(예: 01 또는 -11)로 스케일링합니다.

• 결측치 보충 (Imputation): 보간법 (interpolation) 또는 직전 관측값 유지 (last-observation-carried-forward) 방법을 통해 누락된 데이터 포인트를 채웁니다.
• 재샘플링 (Resampling): 필요한 경우 시계열 전체의 샘플링 속도 (sampling rates)를 통일합니다.
• 윈도잉 (Windowing): 모델 입력을 위해 연속적인 시계열을 고정된 길이의 윈도우 (windows)로 분할합니다.

전처리 (Preprocessing)가 클라이언트 간의 이질성 (heterogeneity)을 제거하지는 못할 것입니다. 원래 제거하도록 설계된 것도 아닙니다. 연합 프레임워크 (federated framework)는 데이터를 로컬에 유지하면서 데이터셋 분포를 관리합니다. PiXTime과 같은 접근 방식은 또 다른 유용한 기술인 개인화된 패치 임베딩 (personalised patch embedding)을 강조합니다. 이는 노드별 시계열을 공유 모델 처리를 위해 통일된 차원의 토큰 시퀀스 (token sequences)로 매핑합니다.

• 시계열 파운데이션 모델 아키텍처 정의: 시계열 파운데이션 모델 (time series foundation model)은 풍부한 시간적 표현 (temporal representations)을 학습할 수 있는 백본 (backbone)이 필요합니다. Transformer 기반 아키텍처, 순환 신경망 (RNNs), 그리고 합성곱 신경망 (CNNs)이 일반적인 선택지이며, 각각 장기 의존성 (long-range dependencies)과 복잡한 시간적 패턴을 처리하는 데 있어 서로 다른 강점을 가집니다. 아키텍처는 다음 두 가지 핵심 구성 요소를 수용해야 합니다:

특징 추출기 (Feature Extractor): 원시 시계열 세그먼트를 처리하여 밀집 특징 벡터 (dense feature vectors) 또는 임베딩 (embeddings)을 생성합니다.

• 프로토타입 메모리 모듈 (Prototypical Memory Module): 해당 특징 벡터들로부터 이산적 프로토타입 (discrete prototypes)을 학습하고 저장하는 통합 레이어입니다. 이는 일반적으로 클러스터링 (clustering) 또는 자기 지도 학습 (self-supervised) 목적 함수를 통해 이루어집니다.

설계는 개인화된 로컬 모델에 충분히 유연하면서도, 동시에 일관된 글로벌 파운데이션 모델로 연결될 수 있어야 합니다. 예를 들어, FedCPD는 프로토타입 대조 학습 (prototype contrastive learning)과 프로토타입 정렬 (prototype alignment)을 사용하여 다양한 클라이언트 데이터 특징을 포착하는데, 이는 이 레이어를 설계할 때 유용한 참조점이 됩니다.

2단계: 이산적 프로토타입 메모리 메커니즘 설계

이 단계는 FedProtoTS의 핵심 기여가 이루어지는 지점이며, 설계 선택이 개인정보 보호와 성능 모두에 가장 큰 영향을 미치는 단계입니다.

• 프로토타입 추출 전략 (Prototype Extraction Strategy) 특징 추출기 (feature extractor)가 로컬 시계열 데이터를 처리한 후, 별도의 메커니즘을 통해 해당 특징들을 이산적 프로토타입 (discrete prototypes)으로 증류합니다. 여기에는 다음과 같은 몇 가지 접근 방식이 사용됩니다:

클러스터링 알고리즘 (Clustering Algorithms): K-means 및 유사한 방법들은 특징 벡터 (feature vectors)를 자연스러운 클러스터로 그룹화하며, 이때 중심점 (centroids)이 프로토타입 역할을 합니다.

• 벡터 양자화 (Vector Quantisation, VQ): 연속적인 입력 벡터를 유한한 이산 코드북 벡터 (codebook vectors) 집합으로 매핑합니다. 이산 표현 학습 (discrete representation learning)을 위한 자기지도 학습 (self-supervised learning)에서 널리 사용됩니다.
• 병목 구간을 갖춘 오토인코더 (Autoencoders with Bottlenecks): 특화된 오토인코더가 시계열 특징을 저차원의 이산 표현으로 압축하며, 병목 구간 (bottleneck layer)의 출력값을 프로토타입으로 양자화합니다.
• 프로토타입 네트워크 (Prototypical Networks): 퓨샷 학습 (few-shot learning)에서 차용된 이 방식은 샘플들이 단일 프로토타입 주변으로 클러스터링되는 메트릭 공간 (metric space)을 학습합니다. 이는 반복되는 패턴이나 모티프 (motifs)에 대한 프로토타입을 식별함으로써 시계열 데이터에 적응할 수 있습니다.

목표는 클라이언트의 로컬 데이터에 존재하는 패턴의 범위를 정확하게 나타내는 작고 고정된 크기의 프로토타입 집합을 구성하는 것입니다. 샘플 수준 프로토타입 연합 학습 (Sample-Level Prototypical Federated Learning, SL-PFL)은 이를 더욱 발전시켜, 더 세밀한 개인화 (personalisation)를 위해 개별 샘플 수준에서 프로토타입을 학습합니다.

• 프로토타입 집계 및 정제 (Prototype Aggregation and Refinement) 전체 모델 가중치 (weights)나 그래디언트 (gradients)를 집계하는 대신, 연합 서버 (federated server)는 각 클라이언트로부터 이산적 프로토타입을 수신하고 이를 일관된 글로벌 집합으로 합성하는 작업을 수행합니다. 이 단계에서 클라이언트 이질성 (client heterogeneity)을 처리하는 것이 매우 중요합니다:

글로벌 프로토타입 클러스터링 (Clustering Global Prototypes): 서버는 수신된 모든 클라이언트 프로토타입에 대해 클러스터링을 적용하여 포괄적인 글로벌 패턴을 도출합니다.

• 가중 평균 (Weighted Averaging): 프로토타입(Prototypes)을 정렬할 수 있는 경우, 클라이언트의 데이터 양이나 신뢰도에 따라 가중치를 부여함으로써 더욱 대표성 있는 글로벌 프로토타입을 생성합니다.
• 코드북 학습 (Codebook Learning): VQ(Vector Quantization) 기반 시스템에서 서버는 글로벌 코드북(Global Codebook)을 유지 및 업데이트하며, 클라이언트의 기여가 이루어지는 매 라운드마다 이를 정교화합니다.
• 어텐션 메커니즘 (Attention Mechanisms): 글로벌 모델은 클라이언트가 기여한 프로토타입에 동적으로 가중치를 부여하는 법을 학습하여, 가장 관련성이 높은 입력값에 더 많은 영향력을 부여합니다.

정교화된 글로벌 프로토타입은 클라이언트에게 다시 전달되며, 이를 통해 로컬 모델은 집단적 지식과 정렬(Align)되어 다양한 도메인에 걸친 일반화(Generalisation) 성능을 향상할 수 있습니다.

• 모델 학습에 프로토타입 메모리 통합하기 로컬 및 글로벌 프로토타입을 포함한 이산적 프로토타입(Discrete prototypes)은 각 클라이언트 장치의 로컬 학습을 능동적으로 형성합니다. 통합은 다음과 같은 여러 차원에서 이루어집니다:

정규화 (Regularisation): 로컬 학습은 학습된 표현(Representations)이 로컬 또는 글로벌 프로토타입과 가깝게 유지되도록 정규화되며, 이를 통해 클라이언트 모델이 로컬 데이터 편향으로 인해 표류(Drift)하는 것을 방지합니다.

• 특징 증강 (Feature Augmentation): 프로토타입은 파운데이션 모델(Foundation model)을 위한 추가적인 입력 컨텍스트(Input context) 역할을 수행하여, 로컬 데이터 패턴에 대한 모델의 표현력을 풍부하게 합니다.
• 개인화 (Personalisation): 클라이언트는 글로벌 프로토타입과 함께 개인화된 프로토타입을 유지함으로써, 공유된 글로벌 지식의 이점을 잃지 않으면서도 고유한 로컬 특성에 적응할 수 있습니다. 이는 이질적인 환경(Heterogeneous settings)에서 더 나은 성능을 발휘하도록 모델들을 하나의 통합된 구조로 결합하는 기술과 유사합니다.
• 자기지도 학습 목적 함수 (Self-Supervised Objectives): 학습 목적 함수는 모델이 시계열 세그먼트(Time series segments)를 그에 상응하는 프로토타입에 정확하게 매핑하도록 보장하며, 유사한 세그먼트는 유사한 프로토타입에 매핑되도록 합니다.

이 루프 — 로컬 추출(local extraction), 서버 집계(server aggregation), 클라이언트 통합(client integration) — 는 연합 시스템(federated system) 내에서 지속적인 개선을 주도합니다. 이 방식이 더 넓은 AI 배포 아키텍처 내에서 어떻게 적용되는지 탐구하는 팀들에게, 여기서 설명하는 원칙들은 통합 엔터프라이즈 AI 상호작용 레이어 구축(building unified enterprise AI interaction layers)과 밀접하게 연결됩니다.

3단계: 배포, 평가 및 유지보수

이를 실제 운영 환경(production)에 적용하려면 깔끔한 아키텍처 그 이상이 필요합니다. 실질적인 배포에는 견고한 인프라, 정직한 평가, 그리고 지속적인 적응이 요구됩니다.

• **클라이언트 측 배포 및 학습 오케스트레이션 (Client-Side Deployment and Training Orchestration)**
  

  프로토타입 메모리(prototypical memories)를 포함한 연합 시계열 모델을 배포하려면 각 클라이언트 장치에 효율적인 데이터 파이프라인(data pipelines), 최적화된 추론 엔진(inference engines), 그리고 보안 통신 모듈이 필요합니다. NVIDIA FLARE는 표준 딥러닝(deep learning) 학습 코드를 최소한의 수정만으로 연합 클라이언트 코드로 변환해 주는 API를 제공하여 이 과정을 상당히 단순화합니다. 온디바이스 학습(On-device training)은 메모리 및 연산 제약 사항에 맞춰 최적화되어야 하며, 사용 가능한 경우 NPU나 GPU와 같은 하드웨어 가속기를 사용해야 합니다. 오케스트레이션(orchestration) 레이어는 클라이언트 참여를 관리하고, 중도 탈락(dropouts)을 유연하게 처리하며, 적시에 프로토타입이 제출되도록 보장해야 합니다. 여기서 프로토타입의 압축된 특성은 의미 있는 실질적 이점을 제공합니다. 즉, 전체 모델 업데이트를 전송하는 것에 비해 대역폭(bandwidth) 요구 사항이 대폭 감소합니다.

• **성능 평가 및 개인정보 보호 지표 (Performance Evaluation and Privacy Metrics)**
  

  평가는 다차원적이어야 합니다. 표준 정확도 지표만으로는 연합 시계열 시스템에서 중요한 요소를 모두 포착할 수 없습니다:

시계열 지표 (Time Series Metrics): 개별 클라이언트 및 홀드아웃 테스트 세트(held-out test sets) 전반에 걸친 예측 정확도(RMSE, MAE, MAPE), 분류 성능(accuracy, F1-score), 그리고 이상 탐지(anomaly detection) 지표(precision, recall, F1-score).

• 일반화 (Generalisation): 모델이 학습 중에 보지 못한 새로운 클라이언트나 도메인에서 얼마나 잘 작동하는가? 데이터셋에 구애받지 않는(dataset-agnostic) 시간적 표현(temporal representations)에 집중하는 FeDaL은 이 측면에서 유용한 벤치마크 참조가 됩니다.

• 통신 효율성 (Communication Efficiency): 전체 모델 업데이트 대신 압축된 프로토타입(prototypes)을 사용할 때의 대역폭 감소량을 정량화합니다.

• 개인정보 보호 보장 (Privacy Guarantees): 프로토타입은 내재적인 개인정보 보호 이점을 제공하지만, 공식적인 개인정보 보호 분석은 여전히 필수적입니다. 프로토타입 추출 또는 집계(aggregation) 과정에서 차분 프라이버시 (Differential Privacy) 기술을 적용하여 재구성 공격 (reconstruction attacks)에 대해 더 강력하고 공식적인 보장을 제공할 수 있습니다.

• 공정성 (Fairness): 글로벌 모델이 클라이언트 그룹 전반에 걸쳐 형평성 있게 작동하는지 확인합니다. 이질성 (heterogeneity)은 소수 데이터 분포를 가진 클라이언트에게 조용히 불이익을 줄 수 있습니다.

•   **반복적 개선 및 모델 적응 (Iterative Refinement and Model Adaptation)**
  

  연합 시계열 모델은 데이터와 조건이 변화함에 따라 진화해야 합니다. 실제 환경에서의 배포 시 정적인 배포는 실현 가능한 경우가 거의 없습니다:

정기적 재학습 라운드 (Regular Retraining Rounds): 글로벌 파운데이션 모델 (global foundation model)과 그 프로토타입 메모리 (prototypical memories)를 갱신하기 위해 주기적인 연합 학습 (federated learning) 라운드를 예약합니다.

• 적응형 프로토타입 학습 (Adaptive Prototype Learning): 현재 데이터 패턴과의 관련성에 따라 프로토타입을 동적으로 추가하거나 제거하는 메커니즘을 구현합니다.
• 개인화된 모델 업데이트 (Personalised Model Updates): 클라이언트가 글로벌 파운데이션 모델과 독립적으로 개인화된 모델 구성 요소를 업데이트할 수 있도록 허용합니다. 이는 샘플 수준의 프로토타입 학습 (sample-level prototypical learning)이 제공하는 주요한 실질적 이점 중 하나입니다.
• 모니터링 및 피드백 루프 (Monitoring and Feedback Loops): 모델 성능을 추적하고, 개념 드리프트 (concept drift)를 탐지하며, 그 결과를 적응 주기 (adaptation cycle)에 다시 반영하는 모니터링 시스템을 구축합니다.