RTX 5060 Ti 16GB 로컬 LLM 설정을 위한 작은 공개 저장소(repo)를 만들었습니다:

club-3090 저장소에서 영감을 얻었지만, 이번 저장소는 5060 Ti 하드웨어에서 실제로 테스트한 내용을 기록하는 데 집중하여 설정 세부 사항을 더 쉽게 공유하고 재현할 수 있도록 했습니다.

현재 시드(seed) 설정은 Linux 환경의 2x RTX 5060 Ti 16GB이며, 다음 내용에 대한 노트가 포함되어 있습니다:

• Qwen3.6 27B NVFP4/MTP를 서빙하는 vLLM
• Qwen3.6 27B Q4/Q6를 위한 llama.cpp MTP GGUF 서빙
• 204800 직접 롱 컨텍스트(long-context) 프리셋을 포함한 Q6 롱 컨텍스트 적합성 확인
• 추가 여유 공간을 위한 더 안전한 65536 llama.cpp 라우터(router) 프리셋
• llama.cpp 및 vLLM에서의 초기 Qwen3.6 35B A3B 확인
• 정제된 실행(launch) 예시
• 모델 다운로드 및 llama.cpp 업데이트 도우미 스크립트
• 간단한 OpenAI 호환 스모크 테스트(smoke test)/벤치마크 스크립트
• CSV 시드 결과 및 보고서 템플릿

목표는 모호한 초당 토큰 수(tokens/sec) 주장보다는 정확한 설정(configs), 버전, 컨텍스트 길이(context lengths), KV 설정 및 주의 사항을 제공하여 실용성을 유지하는 것입니다.

다른 분들 중 유사한 5060 Ti 설정을 테스트하고 계신다면, 결과를 재현할 수 있을 만큼 충분한 세부 정보를 담아 이슈(issue)나 PR을 자유롭게 열어주세요.