Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 내용은 Llama 모델의 MoE(Mixture of Experts) 다운 프로젝션에 전문가별 토큰 스케일링을 적용하는 기술적 개선 사항을 다룹니다. 이를 통해 전역적인 amax 재조정 대신, 중간 차원(intermediate dimension)을 따라 계산된 전문가별 토큰별 계수를 사용합니다. 이 변경은 텐서 병렬성을 가능하게 하며 모델의 효율성과 정확도를 높이는 데 기여합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기전역적인 amax 재조정을, 중간 차원(intermediate dimension)을 따라 POOL_1D max 축소로 계산된 전문가별 토큰별 계수로 대체합니다. 동일한 정확한 2의 거듭제곱 인자(power-of-two factor)를 사용하여 출력에 스케일을 되돌립니다. 텐서 병렬성(tensor parallelism)을 가능하게 하기 위해 Meta split-state 로직에서 POOL_1D를 처리하여 축 0을 따라 분할하는 것이 장치별 복제된 부분 결과가 되도록 합니다.
Assisted-by: pi:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB)
Co-authored-by: Georgi Gerganov [email protected]
재조정된 활성화 값(rescaled activation)과 선택적 스케일 텐서(optional scale tensor)를 출력 포인터 대신 작은 구조체(small struct)를 통해 반환하도록 변경합니다.
Assisted-by: pi:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB)