매 밀리초가 중요합니다. 우리가 구축하여 프로덕션에 배포한 토크나이저(Tokenizer)를 오픈 소스로 공개합니다. 이는 huggingface

요약

Perplexity가 프로덕션 환경에서 CPU 사용량을 5~6배 절감할 수 있는 고효율 Unigram 토크나이저를 오픈 소스로 공개했습니다. 기존 HuggingFace나 SentencePiece보다 지연 시간을 단축하여 전체 시스템 성능을 최적화합니다.

핵심 포인트

• CPU 사용량을 기존 대비 5~6배 절감
• HuggingFace 및 SentencePiece 대비 높은 효율성
• 전체 추론 지연 시간(Latency) 최적화에 기여
• Unigram 기반의 오픈 소스 토크나이저 공개