Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Kimi K3 모델에 채택된 Attention Residuals 기술을 분석합니다. 기존 잔차 연결의 정보 병목 현상을 해결하기 위해 학습 가능한 파라미터와 어텐션 메커니즘을 깊이 방향으로 적용한 구조를 설명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Zenn AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Kimi K3에서 채택된 Attention Residuals에 대해 정리해 보았다. 표준적인 잔차 연결 (Residual Connection)에 비해 고안된 점이 많다는 것을 잘 알 수 있다.
인용: https://arxiv.org/pdf/2607.24653
표준적인 잔차 연결의 경우 $l$번째 층에서
$d$는 벡터의 차원 크기
잔차 연결 자체는 모델의 개량에 있어 매우 혁명적이라고 생각하므로, 여러 기사를 확인해 보시기 바란다.
학습 파라미터 $w$를 도입하여, 어텐션 (Attention) 메커니즘을 참고하여 Attention Residuals가 고안되었다. 다만 시퀀스 방향이 아니라 깊이 방향으로 적용되었다는 점이 핵심이며, 일반적인 어텐션과 비교하며 생각하면 이해하기 쉽다.
층의 단위는 다음과 같다. 이후에 나오는 $h$는 층 단위의 값이다.
$w_l$은 학습 가능한 파라미터 (Learnable Parameter) 그 자체이다.
그림의 $w$ 부분에 해당한다.
$q$는 의사 쿼리 (pseudo-query)이다.
일반적인 잔차 연결에 대해 학습 파라미터를 도입했다는 것이 큰 특징이다.
여기서 $f_i$는 $i$층으로부터의 출력 ($i$가 1인 경우는 임베딩 (Embedding) 결과인 $h_1$)
일반적인 어텐션과 비교했을 때:
일반적인 잔차 연결 (Residual Connection)과 비교했을 때, 상속을 하지 않는다는 것을 알 수 있다.
또한, 표준적인 잔차를 전개했을 경우 다음과 같은 식이 된다.
경로의 구조는 동일하고 계수가 $1
ightarrow \alpha$로 바뀌었을 뿐이라는 이해로도 문제없다.
Full AttnRes는 개념적인 정식화이며, 구현은 Block AttnRes이다. 층 단위가 아니라 블록 단위 (93층을 12층 $\times$ 8블록)로 선택하며, 블록 내부는 기존 방식대로 일률적인 가산을 수행한다.
$O(Ld)
ightarrow O(Nd)$의 메모리 절감과 추론 시의 상태 유계화 (State Boundedness)가 목적이며, $N \approx 8$일 때 이득의 대부분을 회수할 수 있다는 실험 결과에 기반하고 있다.
일반적인 어텐션 형식을 참고하면서, 아래와 같은 차이는 있지만 과거 정보를 이전보다 효율적으로 취득하는 것이 가능해졌다.
