순환 모델(Recurrent models)은 기억하기 위해 반드시 망각해야 하지만, 현재의 최첨단 기술은 저장된 내용을 확인하지 않고 무엇을 지울지 결정합니다. 즉, 게이트(gate)는 새로 도착하는 토큰만을 볼 뿐, 자신이 수정하려는 메모리는 보지 못합니다. 이러한 메모리 맹목적 게이팅(memory-blind gating)은 선도적인 델타 규칙 아키텍처(delta-rule architecture)인 GDN-2에서 나타나는 세 가지 결합된 결함 중 하나입니다. 가치 축(value-axis) 삭제 마스크는 가치 투영(value projection) 규모만큼의 파라미터를 낭비하며, 우리가 증명했듯이, 순환 학습을 Transformer와 경쟁 가능하게 만드는 WY-form 삼각형 청크 솔버(triangular chunk solver)를 수학적으로 방해합니다.

우리는 하나의 원칙, 즉 '키 축(key axis)에서만 삭제하라'를 통해 이 세 가지 문제를 모두 해결하는 CARVE (Content-Aware Recurrent with Value Efficiency)를 소개합니다. 이는 WY-form 솔버가 유효하게 유지되기 위해 증명 가능한 필요충분조건입니다. CARVE는 이 구조 내에서 이미 GPU 메모리에 기록된 순환 출력 텐서(recurrent output tensor)를 삭제 게이트를 위한 무료 콘텐츠 신호로 재사용하며, 값별 쓰기 게이트 투영(per-value write-gate projection)을 헤드당 단일 스칼라(single scalar)로 대체합니다. 초기화 시 CARVE는 GDN-2와 비트 단위로 동일(bit-identical)하며, 품질의 차이는 콘텐츠 게이트가 무엇을 학습하느냐에서 발생합니다.

100B 토큰으로 학습된 1.3B 파라미터 규모에서, CARVE는 WikiText perplexity 15.72를 달성하였으며(GDN-2 대비 0.18 감소, 4.5-sigma 효과), 9개의 상식 추론 벤치마크에서 모든 순환 베이스라인을 앞질렀고, 모든 RULER 검색 프로브(retrieval probe)에서 최첨단(SOTA) 성능을 기록했습니다. 이 과정에서 처리량 오버헤드는 0.4%에 불과하며, 피크 메모리는 13% 낮고, 파라미터 수는 19% 더 적습니다. 메모리 용량, Lyapunov 안정성, 그래디언트 흐름(gradient flow), 표현력 분리(expressivity separation), 파레토 최적 청크 크기(Pareto-optimal chunk size), 그리고 하이브리드 최적성(hybrid optimality)을 다루는 6개의 정식 정리가 이를 뒷받침합니다.