계층적 키-값(key-value) 공유는 트랜스포머 메모리 사용량을 약 3분의 1만큼 줄이면서도 다운스트림 성능을 유지하거나 심지어 향상시킵니다. 아이디어는 간단합니다. 후반 레이어가 자체 캐시를 생성하는 대신, 앞선 스트라이드 정렬(stride-aligned) 레이어가 생성한 KV 쌍을 재사용하는 것입니다. 이는 깊은 모델이 품질을 유지하기 위해 전체 레이어별 캐시를 반드시 유지해야 한다는 일반적인 믿음에 도전합니다.
DepthGraft 이전에는 교차 레이어 연결성(cross-layer connectivity)이 주로 아키텍처적 참신함으로 도입되었으며, 종종 추가적인 행렬 곱셈이나 메모리 이동을 발생시켰습니다. 인접 레이어 공유 및 글로벌 앵커 방식 등이 탐구되었지만, 이들은 KV 기하학에 대한 체계적인 정규화(regularisation)나 캐시에 대한 실질적인 압축을 제공하지 못했습니다. 따라서 실무자들은 깊은 추론(deep inference)의 메모리 비용을 불가피한 것으로 받아들였습니다.
DepthGraft는 KV 캐시를 약 3분의 1만큼 줄입니다. 저자들은 "DepthGraft는 전처리(prefill)의 조기 완료를 보존하고 KV 캐시를 약 3분의 1로 줄이는 동시에, 소스 레이어 전반에 비국소적 기울기 흐름(non-local gradient flow)을 분배합니다"[[1]]라고 작성했습니다. 이 아키텍처는 스트라이드 정렬된(stride-aligned) 얕은 중간 소스에서 깊은 단계의 쿼리(query)를 재구성함으로써, 트랜스포머 깊이의 상당 부분을 위한 독립적인 저장을 제거하여 중급 GPU에서도 편안하게 맞는 메모리 사용량을 산출합니다.
이 압축은 정확도의 희생을 동반하지 않으며, 실제로 측정 가능한 성능 향상을 제공합니다. 16 B Mixture-of-Experts 모델에서 DepthGraft는 MMLU-Pro에서 7.0%의 절대적인 개선을 달성했으며, CMMLU와 C3를 각각 6.6%, 6.4% 끌어올렸습니다[[1]]. 유사한 상승세는 0.5 B부터 수십억 개의 파라미터에 이르는 밀집(dense) 모델 전반에서 나타나며, 이는 계층적 재사용이 값 부분 공간(value subspaces)을 풍부하게 만드는 동시에 키 검색 방향을 날카롭게 함을 시사합니다.
이 결과는 해당 접근 방식이 160억(16 B) 매개변수를 초과하거나 논문의 README에서 평가된 128K 토큰보다 훨씬 긴 컨텍스트에 어떻게 확장되는지에 대해서는 여지를 남깁니다. 이 설계는 스트라이드 정렬 공유 토폴로지(stride-aligned sharing topology)에 의존하며, 계층 깊이가 맞지 않거나 불규칙한 트랜스포머 스택은 맞춤형 엔지니어링(bespoke engineering)을 필요로 할 수 있습니다. 또한, 토큰당 오버헤드(per-token overhead)가 1% 미만으로 유지되더라도, 지연 시간에 민감한 배포 환경에서는 추가된 재구성 단계(reconstruction step)를 프로파일링해야 합니다.
계층적 KV 공유가 이러한 초기 발견에 부합한다면, 추론 파이프라인(inference pipelines)은 하드웨어 업그레이드 없이도 기존 메모리 예산 내에서 유효 모델 크기 또는 컨텍스트 길이(context length)를 늘릴 수 있습니다. 이전에 주어진 메모리 예산에 의해 제한되었던 벤치마크(예: 단일 A100에서의 MMLU-Pro 실행)는 DepthGraft를 활성화하여 재실행되어야 하며, 프로덕션 서비스는 기존의 바닐라 캐시(vanilla caches) 대신 공유 변형(shared variant)을 새로운 기본값으로 고려해야 합니다.
참고 문헌 (References)
- DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction