많은 분이 이 부분에 대해 혼란스러워하거나 의아해하는 것 같아 명확히 설명해 드리고자 합니다.

저는 RYS를 가지고 이것저것 시도해 보다가 모델이 망가진다는 사실을 깨달았습니다. 알고 보니 각 레이어(layer)에 적용되는 layer_scalar 값이 존재했습니다. 결과물인 모델이 "동일한 양"을 얻을 수 있도록 이 값을 조정하지 않으면 모델이 망가집니다. 이 값은 곱셈 방식이기 때문에, s^(1/N)을 계산해야 합니다. 여기서 s는 원래의 스칼라(scalar) 값이고, N은 해당 레이어를 복제한 횟수입니다.

참고를 위해 Vibe 코딩(Vibe coded)으로 작성하고 (닫힌) PR을 https://github.com/dnhkng/RYS/pull/4 에 올려두었습니다.