하이퍼 커넥션 (Hyper-Connections, HC)은 Transformer의 잔차 스트림 (residual stream)을 N개의 병렬 스트림으로 확장하여, 모델의 너비(width)와 깊이(depth)를 넘어선 형태의 메모리 스케일링을 제공합니다. 매니폴드 제약 HC (Manifold-Constrained HC, mHC)는 이러한 공식을 대규모 환경에서 안정화합니다. N=1에서 N=4로 확장할 때 발생하는 큰 이득은 잔차 스트림 확장이 유망한 스케일링 축임을 시사합니다. 그러나 기존의 HC 계열 방법들은 일반적으로 N=4에서 멈춥니다. 우리의 실험은 그 이유를 밝혀냅니다: mHC를 이 지점 너머로 확장하면 성능 이득은 점차 줄어드는 반면 훈련 비용은 급격히 증가합니다. 우리는 이 한계의 원인을 두 가지 병목 현상으로 규정합니다: 확장되는 스트림 수에 비해 불충분한 쓰기-백 (write-back) 정보, 그리고 N에 따라 비용이 세제곱으로 증가하는 잔차 혼합 (residual-mixing) 생성 과정입니다. 이 두 가지 병목 현상을 해결하기 위해, 우리는 N=4를 넘어 의미 있는 확장을 달성한 최초의 HC 계열 방법인 xHC (Expanded Hyper-Connections)를 제안합니다. xHC는 더 풍부한 쓰기-백을 위한 시간적 특징 증강 (temporal feature augmentation)과, 전체 잔차 상태에 대한 밀집된 접근(dense access)을 유지하면서도 N=16개의 스트림 중 k=4개만을 업데이트하는 희소 잔차 스트림 (sparse residual-stream) 아키텍처를 결합합니다. 18B 및 28B MoE 모델 전반에 걸쳐, xHC는 강력하고 일관된 다운스트림 성능 향상을 제공합니다. 18B MoE 모델에서 xHC는 바닐라 (vanilla) 베이스라인 대비 약간의 훈련 FLOPs만을 추가하면서도, mHC보다 평균 다운스트림 점수를 4.0점 향상시킵니다. 스케일링 법칙 (Scaling-law) 실험에 따르면, 바닐라 모델과 mHC가 xHC와 동일한 손실 (loss)에 도달하기 위해서는 각각 xHC보다 1.50배와 1.19배의 연산량이 필요합니다. 실제 대규모 N 훈련에는 확장된 잔차 상태로부터 발생하는 메모리 트래픽을 제어하는 것도 필요합니다. 따라서 우리는 xHC의 이점을 유지하면서도 서브레이어 (sublayer)당 메모리 트래픽을 73.5C에서 40C로 줄여, N=4일 때 mHC가 요구하는 34C와 유사한 수준으로 만든 xHC-Flash를 도입합니다. 결과적으로 xHC와 xHC-Flash는 대규모 N 잔차 스트림 확장을 LLM 사전 훈련 (pre-training)에 효과적이고 실용적으로 만듭니다.

arXiv: https://arxiv.org/abs/2607.14530
Full Paper: https://arxiv.org/pdf/2607.14530
GitHub: https://github.com/aHapBean/xHC submitted by /u/pmttyji [link] [comments]