부분적 또는 전체 CPU 오프로딩을 사용할 때 가장 짜증나는 점은 프롬프트 처리가 매우 느리다는 것입니다. 대부분의 사람들은 형편없는 5-10 tk/sec 생성 속도는 감수할 수 있습니다. 하지만 10 tk/sec의 PP(프롬프트 처리)는 지옥 같습니다. 만약 동일한 양자화(quant)를 가지고 있다면, 충분한 VRAM을 가진 기기에서 프롬프트 처리를 실행하고, 이를 저장하여 호스트로 전송한 다음, 로드하여 토큰 생성을 할 수 있습니다. 코딩을 하다가 50k 토큰 분량의 프롬프트를 보내야 한다고 상상해 보세요. 10 tk로는 5000초, 즉 1시간 30분입니다. 만약 누군가 6000s 같은 빠른 GPU를 가지고 있다면, 그 사람이 50k 토큰을 1분 이내에 처리할 수 있을지도 모릅니다. 인터넷만 연결되어 있다면 3분 이내에 토큰 생성을 시작할 수 있습니다. 우리가 서비스 하나를 만들고 PP 전용으로 GPU를 공유한다면, 우리 중 많은 사람들이 하나의 서버를 활용하고 공유할 수 있을 것입니다. 저는 그러한 시스템이 100명에게 공유될 수 있다고 가정합니다. 핵심은 모든 기기에서 정확히 동일한 양자화(quant)를 사용하는 것이고, 빠른 인터넷 연결과 입력이 충분히 커서 가치가 있는 시점을 계산할 수 있어야 합니다. curl을 사용하여 슬롯을 저장하고, scp와 bash로 구성할 수 있습니다. 이상적으로는 --pp-server http://ppserver 같은 인자를 받아 나머지 처리를 담당하는 방식으로 코딩되어야 합니다. submitted by /u/segmond [link] [comments]