저자들이 자신들의 방법을 Muon의 슈퍼파트너(superpartner)인 Smuon이라고 부르지 않은 것은 놓쳐버린 기회네요 :)

요약

본 기사는 SV(Singular Values)를 무작위 노이즈로 대체한 Muon의 변형인 Kaon이라는 방법을 소개합니다. 이 방법은 Muon과 일치하며, 이는 Muon의 성능이 특정 기하학적 구조에 의존하지 않음을 시사합니다. 또한, Muon이 안정적인 최적화 단계 크기를 제공하여 훈련 과정에서 더 효과적인 학습률을 생성한다는 점도 강조하고 있습니다.

핵심 포인트

• Kaon은 SV(Singular Values)를 무작위 노이즈로 대체한 Muon의 변형입니다.
• Muon과 Kaon의 일치는 Muon의 이점이 기하학적 구조에 의존하지 않음을 보여줍니다.
• Muon은 안정적인 최적화 단계 크기를 가져 훈련 중 효과적인 학습률을 생성합니다.