Kimi K3는 2.8조 개의 파라미터(parameters)로 헤드라인을 장식했지만, 학습자들에게 가장 흥미로운 부분은 그 크기가 아닙니다. 바로 어텐션 메커니즘 (attention mechanism)입니다.

K3는 KDA-Kimi Delta Attention이라고 불리는 것을 사용합니다. 이는 선형 어텐션 (linear attention)의 변형으로, 시퀀스 내 토큰 간의 관계를 계산하는 다른 방식입니다. 트랜스포머 (transformers)가 어떻게 작동하는지 배우고 있다면, 표준 소프트맥스 어텐션 (softmax attention)과 선형 어텐션 (linear attention)의 차이를 이해하는 것이 왜 아키텍처 선택이 파라미터 수보다 더 중요한지를 파악하는 데 도움이 될 것입니다.

한 단락으로 보는 표준 어텐션 (Standard attention)

표준 트랜스포머 (standard transformer)에서 모든 토큰은 다른 모든 토큰을 살펴봅니다. 시퀀스에 N개의 토큰이 있다면, 어텐션 행렬 (attention matrix)은 N x N이 됩니다. K3가 지원하는 100만 토큰 컨텍스트 윈도우 (context window)의 경우, 그 행렬은 직접 계산하기에 불가능할 정도로 거대할 것입니다.

그렇기 때문에 대부분의 모델은 전체 행렬을 계산하는 것을 피하기 위해 슬라이딩 윈도우 (sliding windows)나 희소 패턴 (sparse patterns)과 같은 트릭을 사용합니다.

한 단락으로 보는 선형 어텐션 (Linear attention)

선형 어텐션 (linear attention)은 전체 N x N 행렬이 필요하지 않도록 공식을 다시 작성합니다. 모든 토큰 쌍 사이의 어텐션을 계산하는 대신, 각 토큰을 처리함에 따라 업데이트되는 실행 상태 (running state)를 유지합니다. 토큰당 비용은 시퀀스 길이에 따라 증가하는 대신 대략 일정하게 유지됩니다.

이것이 K3의 100만 토큰 컨텍스트 윈도우 (context window)를 실용적으로 만드는 요소입니다.

20줄의 Python 예시

이것은 KDA 그 자체는 아닙니다. KDA는 K3 팀이 선형 어텐션 (linear attention)이 잃어버리는 표현력 (expressiveness)의 일부를 회복하기 위해 설계한 델타 메커니즘 (delta mechanism)을 선형 어텐션 위에 추가한 것입니다. 하지만 이 예제는 선형 어텐션 (linear attention)의 핵심 아이디어를 보여줍니다:

import numpy as np

# 4차원 특징을 가진 8개 토큰의 작은 시퀀스를 시뮬레이션합니다
...

이 코드를 실행하면 두 방법 모두 동일한 형태의 출력을 생성하지만, 선형 버전은 전체 8x8 행렬을 구축하지 않는다는 것을 알 수 있습니다. 8개 토큰의 경우 차이가 거의 없지만, 100만 토큰의 경우 이는 실행 가능 여부의 차이를 만듭니다.

KDA가 추가하는 것

KDA (Kimi Delta Attention)는 일반적인 선형 어텐션 (Linear Attention)이 긴 시퀀스에서 정보를 흐릿하게 만드는 경향이 있는 문제를 해결하기 위해, 모델이 정보를 유지하도록 돕는 델타 항 (delta term)을 도입합니다. 기술적인 세부 사항은 Moonshot AI가 발표한 자료에 나와 있습니다. 초보자를 위한 핵심 요점은 다음과 같습니다: 선형 어텐션은 긴 컨텍스트 (long context)를 저렴하게 처리할 수 있게 해주며, KDA는 그 성능을 유지하려고 노력한다는 점입니다.

학습에 있어 이것이 중요한 이유

머신러닝 (Machine Learning)을 시작하는 단계라면, 서둘러 K3를 실행하려 하지 마세요. 여기서부터 시작하십시오:

1. 표준 소프트맥스 어텐션 (softmax attention) 이해하기 (행렬을 구축하고, 그것이 커지는 과정을 관찰하세요)
2. 왜 N x N 방식이 확장 (scale)되지 않는지 이해하기 (위의 예시에서 N=10000을 시도해 보세요)
3. 해결책으로서의 선형 어텐션 이해하기 (running state)
4. 해당 해결책에 대한 구체적인 개선 사항으로서 KDA에 대해 읽어보기

파라미터 (Parameters)가 헤드라인을 장식하지만, 실제 엔지니어링이 일어나는 곳은 아키텍처 (Architecture)입니다.

고지 사항: 저는 MonkeyCode 사용자로서 저의 개인적인 경험을 공유하는 것이며, 해당 프로젝트와는 관련이 없습니다. MonkeyCode는 오픈 소스 AI 코딩 플랫폼입니다: https://github.com/chaitin/MonkeyCode