ik_llama.cpp 포크 업데이트 및 피드백 요청

요약

사용자가 ik_llama.cpp를 활용하여 RTX 2060 환경에서 LLM 추론 성능을 테스트한 결과를 공유했습니다. 짧은 프롬프트는 약 45–48 t/s, 긴 컨텍스트(28K)에서는 약 37 t/s의 속도를 기록하며 로컬 최적화 가능성을 입증했습니다. 개발자는 추가적인 피드백과 검토가 필요하다고 언급했습니다.

핵심 포인트

• ik_llama.cpp를 이용한 LLM 추론 성능 테스트 결과 공개.
• RTX 2060 환경에서 짧은 프롬프트는 약 45–48 t/s 달성.
• 긴 컨텍스트(28K)에서도 약 37 t/s의 안정적인 속도 기록.
• 로컬 LLM 최적화 및 개발자 피드백이 필요함을 강조.