CPU 만으로 추론 속도를 개선하는 방법에 대한 요청

요약

이 글은 고성능 CPU 환경(Threadripper Pro)에서 대규모 언어 모델(LLM)을 로컬로 구동할 때 추론 속도 개선에 대한 전문적인 조언을 요청하는 내용입니다. 작성자는 현재 5~7 tok/second의 속도를 얻고 있으며, 양자화(quantization)를 사용하면서도 성능 저하 없이 속도를 극대화할 수 있는 '트릭'이나 최적화 방법을 찾고 있습니다. 또한, CPU 업그레이드와 메모리 대역폭 제한에 대한 논쟁적인 주제에 대해 실제 경험자의 의견을 구하고 있습니다.

핵심 포인트

• CPU만 사용하여 대규모 언어 모델(LLM)의 추론 속도를 개선하는 것이 주요 목표입니다.
• 작성자는 이미 Threadripper Pro와 같은 고사양 CPU 환경에서 작업하며, 양자화가 성능 저하를 가져오는 것에 대한 우려를 표하고 있습니다.
• 모델 가중치 손실 없이(weights sacrifice) 추론 속도를 최대화할 수 있는 고급 최적화 기법이나 숨겨진 저장소에 대한 정보가 필요합니다.
• CPU 업그레이드와 메모리 대역폭 제한 여부에 대한 논쟁적인 주제에 대해 실제 경험 기반의 객관적인 조언을 요청하고 있습니다.