저는 Ampere 아키텍처에 맞춰 특별히 설계된 llama.cpp 커스텀 포크(custom fork)를 가지고 있습니다 (물론 이 업그레이드 중 상당 부분은 blackwell + lovelace에서도 더 빠른 성능으로 적용될 것입니다). 추천 구성으로는 100K 토큰까지, 최대 240K 컨텍스트에서 90+ TPS(에이전트/코딩 작업 시, temp 1 기준; greedy 설정은 물론 더 빠를 것입니다)를 지원합니다. 레포지토리는 여기입니다: https://github.com/JakeATX/llamAmpere 이 양자화 모델(quant)으로 실행하는 것을 추천하는데, 이는 약 4K M 품질이지만 훨씬 빠릅니다 (기술적으로는 3K XL 업그레이드입니다): https://huggingface.co/jakeatx/Qwen3.8-27B-ATX-IQ4_XS-M-GGUF 이것이 어떻게 그렇게 빠른지(200K에서 근접한 성능 대비 80%!) 더 깊이 알고 싶다면, 여기 긴 형식의 아티클을 참고하세요: https://x.com/JakeKAllDay/status/2095646450138874095?s=20 제 3090에서 (최소 27b 기준) API 속도보다 빠르게 실행하는 것은 저에게 모델과 카드의 유용성 측면에서 진정한 변화였습니다. 즐겁게 사용하시길 바랍니다! submitted by /u/Brief-Tap-6616 [link] [comments]