6개월 전 Kimi를 집에 들일 때까지 멈추지 않겠다고 말했는데, 10번 이상의 실패 끝에 마침내 성공했습니다
요약
사용자가 Kimi 모델을 로컬 환경에 구축하기 위해 6개월간 시도한 과정과 최종적인 성능 벤치마크 결과를 공유합니다. 캐시 유무에 따른 프리필 속도와 컨텍스트 용량 등 구체적인 기술 지표를 포함하고 있습니다.
핵심 포인트
- Kimi 모델 구축을 위한 10회 이상의 반복적인 시도
- 45 tok/s의 디코딩 속도 달성
- 캐시 적용 시 95k+ tok/s의 높은 프리필 성능 확인
- 최대 360GB의 전체 컨텍스트 지원
6개월 전 저는 Kimi를 집에 들일 때까지 멈추지 않겠다고 말했습니다. 10번 이상의 실패한 REAP (REAP) 끝에 마침내 그것을 갖게 되었습니다.
물론 벤치마킹 (benchmarking)이 필요합니다.
- 45 tok/s 디코딩 (decode)
- 954 tok/s 프리필 (prefill) 캐시 없음 (no cache)
- 95k+ tok/s 캐시된 프리필 (cached prefill)
- 262k 컨텍스트 (context)
- 360gb 전체 컨텍스트 (full context)
AI 자동 생성 콘텐츠
본 콘텐츠는 X 홈 추천 피드의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0