LocalLLaMa의 조언을 바탕으로 n+2 미리 보기 예측기를 SSD 스트리밍에 구현한 Qwen Flash Next 테스트 결과

저는 Mac Mini m5 64gb에서 Qwen Flash Next를 SSD 스트리밍 방식으로 최적화하는 프로젝트를 진행하고 있습니다. 최근 LocalLLaMa에게 토큰 출력 최적화 방법에 대한 조언을 구했습니다. 오늘날 인기 있는 방법 중 하나는 현재 레이어보다 한 레이어 앞의 전문가(expert)들을 가져오는 미리 보기 추측기(lookahead guesser)입니다. 하나의 인기 있는 제안은 두 레이어 앞의 전문가를 로드하기 위한 예측 모델을 구축하는 것이었습니다. 이를 통해 채팅에서는 +8%, 코딩에서는 +4.2%의 성능 향상을 얻었습니다. 다양한 최적화들이 쌓이면서, 기본 베니라(vanilla) 설정에서 실제로는 훨씬 더 많은 이득을 볼 수 있을 것 같습니다. https://github.com/skeggsguy/Flash-next-ssd 정말 멋지네요! reddit LocalLLama에게 감사드립니다! 지금 원본 게시물을 찾아서 링크하겠습니다. 수정: 원래 제안을 해주신 sdroege_님께 찬사를 보냅니다! /u/turtleninja99 작성