$5400 eBay 8x V100 서버, flash-next에서 구동 성공

요약

V100 GPU 8개 서버 환경에서 opus 5.5 모델을 성공적으로 구동한 결과를 공유합니다. 특히, dflash와 nvfp4 Nvidia 체크포인트를 활용하여 27B TP=4 모델이 초당 200 토큰 이상의 높은 처리 속도를 기록했습니다.

핵심 포인트

• V100 서버 환경에서 opus 5.5 구동 성공 사례를 제시함.
• dflash와 nvfp4 체크포인트를 사용하여 고성능을 달성함.
• 27B TP=4 모델이 초당 200 토큰 이상의 속도를 기록함.