Transformer를 희소화(Sparsifying)하는 것은 여전히 근본적인 과제로 남아 있습니다. 표준 옵티마이저(Optimizer)들은 희소성을 촉진하는 동시에 학습 안정성을 유지하는 데 실패하기 때문입니다. 효과적인 적응형 옵티마이저(Adaptive optimizer)들은 안정성을 선호하는 암묵적인 $L_{\infty}$ 편향(bias)을 보이지만, 희소성을 위해서는 $L_1$ 편향이 필요합니다. 희소성을 통합하기 위해, 우리는 옵티마이저 단계의 합성을 제안하며, 이를 비가환 연산자(non-commutative operators)로 설정하여 그들의 최적화 기하학(optimization geometry)을 원칙적인 방식으로 분석하고 결합합니다. 이를 통해 HORST (Hyperbolic Operator for Robust Sparse Training)를 도출하였으며, 이는 적응형 방법론으로부터 안정성을 상속받는 동시에 쌍곡 미러 맵(hyperbolic mirror map)을 통해 $L_1$ 희소성 편향을 유도하는 모듈형 옵티마이저입니다. 우리의 실험은 시각(vision) 및 언어(language) 작업 모두에서 Transformer의 희소 학습에 대한 HORST의 유용성을 입증합니다. HORST는 모든 희소성 수준에서 AdamW 베이스라인을 일관되고 유의미하게 능가하며, 높은 희소성 수준에서 큰 이득을 보여줍니다.