한동안 이 문제로 씨름해 왔습니다. MTP (Multi-Token Prediction) 수치가 17에서 때로는 30대까지 낮게 나타나곤 했는데요, 오늘 제가 깊이 파고들어 정말 다양한 설정(configuration)과 cmake 재빌드(remake) 등 온갖 방법을 시도해 보았습니다. 그 모든 시도 끝에 마침내 GGML_CUDA_ALLREDUCE를 제거해 보았고, 드디어 TPS (Tokens Per Second)가 눈에 띄게 향상되는 것을 확인했습니다!

혹시라도 이 글을 보고 비슷한 상황에 처한 분이 계실까 하여 게시합니다. 해당 환경 변수(envar)는 보통 유익한 것으로 간주되기 때문에 제거할 생각을 미처 못 했었는데, 일단 제거하고 나니 정말 놀라울 정도였습니다!
https://imgur.com/a/obaIkVy
submitted by /u/Bulky-Priority6824
[link] [comments]