이전에 RTX 5060 Ti 로컬 LLM 테스트에 대해 게시한 적이 있는데, 그 이후로 저장소(repo)를 상당히 깔끔하게 정리했습니다.

이제 이 프로젝트는 흩어져 있는 메모가 아니라, 더 구조화된 벤치마크/레시피 저장소(repo)가 되었습니다. 정적 결과 탐색기(static results explorer), 스키마 검증이 완료된 벤치마크 JSON, 더 명확해진 llama.cpp/vLLM 참고 사항, 단일 카드 및 듀얼 카드 RTX 5060 Ti 레시피, 모델 불가지론적(model-agnostic) 다운로드 도우미, 그리고 생성 속도(generation speed), 프롬프트 평가 속도(prompt eval speed), MTP/no-MTP, 사고 모드(thinking mode)에 대한 더 나은 라벨을 갖추고 있습니다.

저장소(Repo): https://github.com/5p00kyy/club-5060ti

결과 탐색기(Results explorer): https://5p00kyy.github.io/club-5060ti/

테스트된 기준점(baseline)은 여전히 RTX 5060 Ti 16GB이며, 특히 더 큰 Qwen3.6 실행을 위해 2x 5060 Ti를 사용했습니다. 이 수치들이 보편적이라고 암시하고 싶지는 않습니다. 유용한 부분은 레시피의 형태와 보고 규율입니다: 정확한 하드웨어, 런타임(runtime), 모델, 양자화(quant), 컨텍스트(context), KV 캐시(KV cache), 생성된 토큰(generated tokens), 프롬프트 평가 속도(prompt eval speed), 생성 속도(generation speed), 그리고 주의 사항(caveats)입니다.

댓글에서 나온 내용 중 하나는 서로 다른 GPU 아키텍처를 함께 사용하는 것이었습니다. 현재 제가 파악하기로는, 5060 Ti가 아니거나 혼합 GPU(mixed-GPU) 설정에서는 llama.cpp/GGUF를 가장 먼저 테스트해 보는 것이 최선입니다. vLLM NVFP4/MTP는 더 Blackwell에 특화되어 있으며, 다른 아키텍처에서도 변경 없이 작동할 것이라고 가정해서는 안 됩니다.

혼합 카드(Mixed-card) 및 비 5060 Ti 결과도 환영하지만, 2x 5060 Ti 기준점에 섞이지 않도록 별도의 하드웨어 경로로 보고되어야 합니다.

다른 분들로부터 유용할 만한 정보는 다음과 같습니다:

• 서로 다른 CPU/메인보드에서의 듀얼 5060 Ti 결과
• 혼합 GPU 및 비 5060 Ti llama.cpp 결과
• vLLM 버전 드리프트(version drift) 보고
• 성공적인 실행뿐만 아니라 명확한 실패 보고

일부 오래된 llm-bench 행들은 보관된 역사적 데이터로 가져와서 유실되지 않도록 했지만, 저는 club-5060ti를 새로운 신뢰할 수 있는 정보원(source of truth)으로 취급하고 있습니다. 계획은 오래된 혼합 방식의 결과에 의존하기보다, 새로운 벤치마크 프로토콜에 따라 유용한 사례들을 다시 실행하는 것입니다.

https://github.com/5p00kyy/llm-bench는 별개의 오래된 벤치마크 저장소 (repo)로 남는 대신, club-5060ti의 결과/데이터 측면으로서 사실상 이 프로젝트로 통합되고 있습니다.

무언가를 테스트하신다면, 지루할 정도의 세부 사항들을 포함해 주세요. 바로 그 점이 결과물을 유용하게 만드는 요소입니다.

수정 사항:

피드백을 반영한 작은 업데이트: 제 특정 2x RTX 5060 Ti 설정에 덜 얽매이도록 저장소 (repo)의 프레임워크를 조정했습니다.

이 프로젝트는 명확한 하드웨어 레인 (hardware lanes)으로 나누어진, 더 광범위한 RTX 5060 Ti 로컬 추론 허브 (local inference hub)를 지향합니다:

• 1x RTX 5060 Ti
• 2x RTX 5060 Ti
• 3x/4x+ RTX 5060 Ti
• 혼합형 RTX 5060 Ti + 기타 CUDA GPU
• 기타 CUDA GPU 비교/적응 결과

이렇게 하면 4개 카드 설정, 단일 카드 설정, 그리고 혼합 시스템들이 서로 직접적으로 비교 가능하다는 척하지 않으면서도 각각 유용하게 쓰일 수 있을 것입니다. 이제 저장소 (repo)에는 하드웨어 레인 (hardware-lanes) 문서가 포함되어 있으며, 결과 제출 템플릿에서는 사용자들에게 레인을 라벨링하고 토폴로지 (topology)/런타임 (runtime)/모델 (model)/벤치마크 (benchmark) 세부 사항을 포함하도록 요청합니다.