단일 RTX 5070 Ti 또는 5080(단일 카드 16GB VRAM)에서 멀티모달 추론 (multimodal inference)을 실행하는 분들을 위해 몇 가지 학습 내용, 설정 (configs), 그리고 벤치마크 (benchmarks)를 공유합니다:
https://github.com/elsung/blackwell-16gb-llm-starter
요즘 기술 발전 속도를 고려하면 이 정보가 곧 구식이 될 수도 있습니다. 하지만 모델을 실행하려 하거나, 자신의 작업에 해당 GPU가 충분한지 결정하려는 다른 분들에게 도움이 될 것이라 생각하여 공유합니다.
[수정 - u/feverdoingwork 님의 알림에 감사드립니다. GitHub 저장소의 벤치마크 / 설정에 다른 항목들과 함께 Qwen 3.6 27B를 추가했습니다]
submitted by /u/elsung to r/LocalLLaMA
[link] [comments]