요약

잔차 스트림(residual-stream) 확장을 N=4 이상으로 확장한 최초의 HC 계열 방법론인 xHC를 소개합니다. 18B MoE 모델에서 단 4%의 추가 학습 연산량만으로 기존 mHC 대비 평균 4.0 포인트의 성능 향상을 달성했습니다.

핵심 포인트

• 잔차 스트림 확장을 N=4 이상으로 확장한 최초의 HC 방법론
• 18B MoE 모델에서 mHC 대비 평균 4.0 포인트 성능 이득
• 학습 FLOPs를 단 4%만 추가하여 높은 효율성 증명