MTP를 최대한 활용하고 싶다면, 이를 위해 몇 가지 테스트/벤치마크 (benchmarks)를 실행해야 합니다. 기본 설정으로 켜두기만 해도 성능 향상을 얻을 수 있지만, 많은 모델과 그래픽 카드 조합의 경우 n_max를 튜닝(tune)하지 않으면 상당한 성능을 놓치게 됩니다. 일부 모델에서는 가능한 성능의 50-100%를 쉽게 놓칠 수 있습니다. 제가 사용하는 하드웨어(p100 + 2xV100)에서 다양한 모델을 대상으로 몇 가지 벤치마크를 실행해 보았으며, 모델 제품군(model families) 사이에 꽤 큰 차이가 있음을 확인했습니다. 아래는 제가 얻은 결과 중 일부입니다. 전체 세부 사항, VRAM에 미치는 영향을 포함한 다른 모델들, 그리고 벤치마크 실행을 위한 스크립트는 여기 GitHub에서 확인할 수 있습니다: https://github.com/bradrlaw/ai-server/blob/main/docs/benchmarking.md Gemma-31b는 n-max가 증가함에 따라 성능이 잘 확장되었습니다. Qwen은 중간 설정에서 가장 큰 이득을 보았습니다. 모두가 좋아하는 모델은 잘 확장되었습니다. 더 작은 Gemma 모델은 /u/bradrlaw가 제출한 더 큰 모델과는 반대로 동작했습니다 [link] [comments]