안녕하세요, 최근 저는 Fish Audio의 S2를 포크(fork)하여 로컬 실행을 위해 최적화를 시도해 보았습니다. bf16에서는 초당 약 1.2 토큰(tokens/second)이었던 속도를 int8에서는 약 23 t/s, bf16에서는 약 12.4 t/s까지 끌어올렸습니다 (추론 엔진에 이 양자화(quantisation)를 추가했습니다). Apple Silicon을 사용하는 다른 분들이 이를 테스트하고 제 벤치마크를 재현해 보시길 기대하고 있습니다. 제가 실제로 어떻게 이 성능을 뽑아냈는지에 대한 자세한 내용은 리포지토리(repo)에 있습니다. 요약하자면, 주로 KV 캐시(KV cache: 재사용, GQA 확장, 그리고 MPS를 위한 int8 커널) 덕분입니다. inductor-metal을 위한 torch의 compile이나 서브 배치 스트리밍(sub batch streaming)과 같은 다른 최적화들도 포함되어 있습니다. 리포지토리의 벤치마크는 저의 M5 Pro 48Gb에서 측정된 것이므로, 다른 Apple Silicon 칩을 사용하시는 분이 있다면 다른 기기에서는 어떻게 작동하는지 꼭 확인해 보고 싶습니다. 감사합니다!