Poolside가 Laguna S 2.1을 출시하기에 완벽한 날이었네요. 드디어 괜찮은 양의 VRAM을 확보했습니다! 3x V620 = 96

요약

사용자가 Poolside의 Laguna S 2.1 모델을 테스트하기 위해 V620 GPU 3개를 활용한 하드웨어 환경을 구축했습니다. 96GB의 VRAM을 통해 256K 컨텍스트를 처리하며, 비용 대비 준수한 성능을 확인했습니다.

핵심 포인트

• V620 GPU 3개를 사용하여 총 96GB VRAM 확보
• 256K 컨텍스트를 Q4_K_M 형식으로 처리 가능
• 프리필 400~600 tok/s, 생성 16~20 tok/s 성능 기록
• 개당 $350의 저렴한 비용으로 효율적인 구성