최근 다들 샤오미(Xiaomi) MiMo 모델의 가격 인하를 보셨을 겁니다!
오늘 확인해 보니 120만 토큰을 사용하는 데 약 3위안 정도밖에 들지 않았습니다!

마침 샤오미(Xiaomi) MiMo 팀의 루오푸리(罗福莉)가 공유한 기술 블로그를 보게 되었습니다.

V2.5 시리즈가 막 API 가격을 낮추었는데, 그 이면에는 사실 추론 시스템(Inference System)을 완전히 재구축한 과정이 있었습니다.

그들이 사용한 Hybrid Sliding Window Attention 아키텍처는 KVCache 저장 용량을 전체 어텐션(Full Attention)의 약 1/7 수준으로 압축할 수 있습니다.

하지만 루오푸리 팀은 아키텍처의 장점이 실제 운영 트래픽(Production Traffic)에서 자동으로 수익화되지는 않는다는 점을 잘 알고 있었습니다.

이에 따라 팀은 KVCache 관리, 계층형 캐시(Hierarchical Cache), 그리고 prefix-cache tree를 재설계하여 SWA 특유의 캐시 문제를 전문적으로 처리했으며, 동시에 스케줄링 전략과 Prefill/Decode 파이프라인(Pipeline)을 심층 최적화했습니다.

실제 운영 트래픽 검증 결과, 유효 KVCache 용량이 거의 5배 증가했으며, 주요 프레임워크 기반의 서버 측 캐시 적중률(Cache Hit Rate)은 93%에서 95% 사이로 안정화되었습니다.

여기에 MoE(Mixture of Experts) 구성 튜닝과 멀티모달(Multimodal) 추론 최적화가 더해지면서, 비로소 긴 컨텍스트(Long Context) 추론 비용을 낮출 수 있었고 이번 가격 인하를 뒷받침할 수 있었습니다.

이는 좋은 아키텍처는 단지 천장(한계치)일 뿐이며, 이를 실제로 확장 가능하고 저비용인 생산 능력으로 구현해 내는 것이 모델의 가성비를 결정하는 핵심이라는 점을 정확히 보여줍니다.