TL++: 분산 지능형 시스템을 위한 정확도 및 프라이버시 보존 트래버설 학습 (Traversal Learning)

분산 지능형 시스템 (Distributed intelligent systems)은 원시 데이터를 중앙 집중화하지 않고 데이터 사일로 (data silos)를 가로질러 학습해야 할 필요성이 점점 증가하고 있습니다. 연합 학습 (Federated learning)은 데이터를 로컬에 유지하지만, 이질적인 파티션 (heterogeneous partitions) 환경에서 성능 저하를 겪을 수 있으며 반복적인 전체 모델 교환이 필요합니다. 분할 학습 (Split learning)은 컷 레이어 활성화 값 (cut-layer activations)을 통해 통신량을 줄이지만, 표준 프로토콜은 일반적으로 중앙 집중식 미니 배치 그래디언트 (centralized mini-batch gradient) 동작을 복구하지 못하며 활성화 값과 그래디언트가 평문 (plaintext)으로 노출될 수 있습니다.

본 논문에서는 명시적인 동기화 가정 하에 중앙 집중식 미니 배치 그래디언트 동작을 복구하기 위해 노드 간 가상 배치 (virtual batches)를 구축하는 2가지 모드의 트래버설 학습 (traversal-learning) 프레임워크인 TL++를 제시합니다. 베이스 모드 (Base mode)는 전체 모델 대신 컷 레이어 활성화 값과 그래디언트를 교환합니다. 보안 모드 (Secure mode)는 오케스트레이터 (orchestrator)와 공모하지 않는 헬퍼 (non-colluding helper) 간에 각 컷 레이어 활성화 값과 그래디언트를 비밀 공유 (secret-shares)하여, 어느 서버도 평문 상태의 컷 레이어 텐서 (cut-layer tensors)를 관찰할 수 없도록 방지합니다. 이러한 보호는 반-정직 (semi-honest) 2-서버 설정으로 제한되며, 레이블 (labels) 및 손실 관련 출력은 오케스트레이터에게 노출된 상태로 유지됩니다. 여기서 평가된 경량 보안 경로 (lightweight secure path)에서 정확성을 확보하려면 선형 또는 아핀 (affine) 서버 경로가 필요하며, 비선형 연산은 비선형 MPC 또는 근사화 (approximation)가 필요합니다.

우리는 TL++를 공식화하고, 통신 및 계산 비용을 분석하며, CIFAR-10 및 BioGPT/PubMedQA 데이터셋에서 전체 미세 조정 (full fine-tuning)과 LoRA를 사용하여 연합 학습 및 분할 학습 베이스라인과 비교 평가합니다. CIFAR-10에서 TL++ base cut 1과 exact secure cut 3은 각각 91.41% (SD 0.19) 및 90.93% (SD 0.17)의 정확도를 달성하였으며, 이는 측정된 가장 강력한 비-TL++ 베이스라인보다 12%포인트 이상 높습니다. 또한 TL++ base cut 1은 전체 모델 동기화 대비 스텝당 통신량을 13.1배 감소시킵니다. PubMedQA 결과 역시 유사하게 TL++가 우세함을 보여줍니다. 종합적으로 TL++는 통신량을 줄이고 활성화 수준의 비밀 공유를 제공하면서도 중앙 집중식 학습 성능에 근접합니다.