Poolside가 Laguna S 2.1을 출시하기에 완벽한 날이었네요. 드디어 괜찮은 양의 VRAM을 확보했습니다! 3x V620 = 96
요약
사용자가 Poolside의 Laguna S 2.1 모델을 테스트하기 위해 V620 GPU 3개를 활용한 하드웨어 환경을 구축했습니다. 96GB의 VRAM을 통해 256K 컨텍스트를 처리하며, 비용 대비 준수한 성능을 확인했습니다.
핵심 포인트
- V620 GPU 3개를 사용하여 총 96GB VRAM 확보
- 256K 컨텍스트를 Q4_K_M 형식으로 처리 가능
- 프리필 400~600 tok/s, 생성 16~20 tok/s 성능 기록
- 개당 $350의 저렴한 비용으로 효율적인 구성
Laguna는 제가 시도해 보는 첫 번째 모델인데, F16 형식에서 256K 컨텍스트 (context)로 Q4_K_M이 들어갑니다. 지금 html 비행 시뮬레이터 테스트를 진행 중입니다. 이 카드들은 지금까지 프리필 (prefill)에서 400600 tok/s, 생성 (gen)에서 1620 tok/s를 보여주고 있습니다 (아직 dflash를 활성화하지 않았습니다). 비용 대비(개당 $350) 전혀 나쁘지 않네요. 듀얼 Xeon Gold 6248R과 768 GB RAM이 장착된 Dell PowerEdge R740 환경입니다. submitted by /u/TheWolfOfWalmart [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0