Tesla K80 (2014)에서 35B MoE 모델 구동하기: C 언어로 구현

요약

C 언어로 작성된 추론 엔진 Pantheon을 소개하며, 최신 하드웨어 없이도 Tesla K80 같은 구형 GPU에서 35B MoE 모델을 구동하는 방법을 제시합니다. 이 엔진은 외부 라이브러리 의존성 없이 작동하며, 특히 Prefix 캐싱 기능으로 후속 응답 속도를 크게 개선했습니다.

핵심 포인트

• C 언어 기반의 추론 엔진 Pantheon 개발 및 공개
• Tesla K80 같은 저가형 구형 GPU에서도 대규모 모델 구동 가능
• Prefix 캐싱을 통해 턴(turn) 간 디코드 속도 향상 효과 입증
• 30k 토큰 등 긴 컨텍스트 처리 시 초기 응답 지연이 여전히 한계점