Telperion의 새로운 모델: Qwen3.8-27B-MLA 및 Qwen3.8-27B-GLA-g2

안녕하세요! Telperion에서 많은 실험적 연구를 진행하며 바빴습니다 (곧 더 많이 공개될 예정입니다). 오늘, 저희는 Qwen3.8-27B의 잠재 어텐션(latent attention) 변형 모델 출시를 발표합니다. 저희의 잠재 어텐션 변형 모델들(FP8 KV 캐시에 맞춰 보정된 양자화 버전)은 KV 캐시를 4배 압축하여, 소비자 하드웨어에서 최대 컨텍스트 크기를 거의 4배 늘리거나 서버 하드웨어에서 동시 처리량(concurrency)을 거의 4배 증가시키는 것이 가능합니다. 이 변형 모델들은 뛰어난 성능을 보여주며, MLA 변형 모델의 경우 SWE 성능이 통계적으로 유의미하게 증가(+6.58%)했을 뿐만 아니라 추론 토큰 사용량이 20% 이상 감소했습니다. MLA를 멀티 GPU 장치에서 서비스할 때 발생하는 메모리 단점을 해결하기 위해, 저희는 두 그룹을 사용하는 그룹화된 잠재 변형 모델(grouped latent variant)을 제작하여 듀얼 GPU 사용자에게 4배의 KV 압축률을 제공합니다.

저희는 사후 양자화(post-training quantization)에 대한 환상적인 레시피를 가지고 있으며, 동등한 크기의 .gguf 양자화 모델보다 높은 충실도(fidelity)를 가진 양자화 버전을 제작했습니다. 저희 모델들은 설치가 쉬운 vLLM 플러그인을 가지고 있습니다.

*EXL3는 실행을 위해 사용자 정의 vLLM 플러그인이 필요합니다. 이 플러그인은 RTX PRO 6000s, H100, 그리고 2× RTX 5060Ti 16GB에서 검증되었습니다. 저희는 아이디어나 연구에 대한 게이트키핑을 믿지 않습니다. 그 결과, 곧 저희의 방법을 오픈 소싱할 예정입니다. 이 방법은 재학습(zero-retraining)이 필요하지 않으며, 그룹화된 쿼리 어텐션(grouped query attention) 또는 유사한 변형을 사용하는 거의 모든 모델과 호환됩니다. 마지막으로, 더 많은 컴퓨팅 자원을 확보하면 개선된 버전 2와 전체 벤치마크 스위트를 제공할 계획입니다. 또한 Qwen4-27B가 출시되면 희소 잠재 어텐션(sparse latent attention) 변형도 제작할 예정입니다. 잠재 어텐션을 어떤 모델에 적용해 보시겠습니까?

저희 연구를 팔로우하거나, 연구를 배우고 수행하거나, 또는 연락을 취하고 싶으신 분들은 언제든지 저희 디스코드 서버에 참여해 주세요. (제공자: /u/fulgencio_batista) [링크] [댓글]