루핑 아키텍처는 활성화 값(activations)을 동일한 레이어 블록을 통해 반복적으로 전달함으로써 파라미터 수를 고정하면서 품질을 확장합니다. 추론 과정에서, 각 재귀(recurrence)는 독립적인 KV-캐시(KV-caches)를 생성하여 메모리가 선형적으로 증가하는 문제를 야기합니다. 이 문제에 대처하기 위해 이전 연구에서는 KV-공유(KV-sharing), 즉 깊이 전반에 걸쳐 KV-캐시를 공유하는 방법을 제안했으며, 특정 경우에는 최종 재귀의 KV-캐시가 품질 손실 없이 초기 재귀와 공유될 수 있음을 발견했습니다. 우리는 이 속성을 KV-공유 가능성(KV-shareability)이라고 명명합니다. 그러나 KV-공유 가능성의 근본적인 메커니즘은 여전히 제대로 이해되지 않았으며, 심지어 동일하게 훈련된 루핑 아키텍처조차도 일관되게 이를 보여주지는 못했습니다. 본 논문에서는 루핑 모델에서 어떻게 KV-공유 가능성을 활성화할 수 있는지 연구합니다. 우리는 두 단계의 방법을 제안합니다. 첫 번째 단계에서는 사전 학습(pretraining) 중에 확률적 깊이(stochastic depth)를 사용하여, 재귀 전반에 걸쳐 표현을 공통의 극한값으로 이끄는 수축 잔차 동역학(contractive residual dynamics)을 유도합니다. 두 번째 단계에서는 BeNice!라는 사후 훈련(post-training) 방법을 제안하는데, 이는 최종 재귀의 KV-캐시를 첫 번째 재귀로 브로드캐스트하여, 원래 모델의 품질을 보존하면서 호환 가능한 잔차(compatible residuals)를 생성하도록 훈련합니다. 그 결과, BeNice!는 표준 파인튜닝(finetuning)의 비공유 검증 퍼플렉시티와 일치하는 수준으로 KV-공유 가능성을 구현합니다. BeNice!를 사용하여, 우리는 KV-공유가 대안적인 KV 압축 방법들과 상보적임을 보여주었으며, 메모리 효율적인 시퀀스 믹서(예: multi-latent attention, Kimi delta attention) 및 저정밀도 KV-캐시 양자화(예: fp8, mxfp8, nvfp4)와 조합될 수 있습니다. 마지막으로, 시뮬레이션된 저메모리, 장문맥 추론 환경에서, KV-공유는 캐시 적중률을 최대 31.4%까지 향상시키고, 처리량(throughput)을 최대 23.6% 증가시키며, p90 기준 첫 토큰 생성 시간(time-to-first-token)을 최대 83.6% 감소시키는 효과를 보였습니다.