매 밀리초가 중요합니다. 우리가 구축하여 프로덕션 (production)에 배포한 토크나이저 (tokenizer)를 오픈 소스로 공개합니다. 이는 huggingface 및 sentencepiece보다 훨씬 효율적입니다.
[IMG:1]

CPU 사용량을 5~6배 줄이기 위해 우리가 다시 구축한 Unigram 토크나이저 (tokenizer)를 오픈 소스로 공개합니다.

작은 리랭커 (rerankers)와 임베더 (embedders)는 GPU에서 한 자릿수 밀리초 내에 실행되므로, CPU 토크나이징 (tokenization)이 전체 지연 시간 (latency)에서 의미 있는 비중을 차지합니다. http:// github.com/perplexityai/p plx-garden …