요약

Gemma-4-26B-A4B-NVFP4 모델이 단일 RTX 5090 GPU에서 65k 컨텍스트 길이로 구동되는 것이 확인되었습니다. 또한, 두 개의 별도 RTX 5090을 사용하여 두 개의 모델을 서빙하는 것도 가능함을 보여줍니다. 특히, vLLM을 이용해 64k 컨텍스트 환경에서 단일 RTX 5090으로 구동 시 초당 약 109.89 토큰의 속도를 기록했습니다.

핵심 포인트

• Gemma-4-26B-A4B-NVFP4 모델이 65k 컨텍스트 길이 지원을 확인했다.
• 단일 RTX 5090 GPU에서 해당 모델 구동 및 서빙이 가능하다.
• 두 개의 별도 RTX 5090으로 두 개의 모델 동시 서빙이 가능하다.
• vLLM 사용 시, 단일 RTX 5090에서 64k 컨텍스트로 약 109.89 tok/sec의 속도를 달성했다.