토크나이저 및 HuggingFace ONNX 모델 파이프라인 (UE5)

저는 UE5용 토크나이저 플러그인과 HuggingFace ONNX 모델 파이프라인 플러그인을 만들었습니다. tokenizers 레포지토리는 Windows에서는 상당히 완성도가 높지만, 현재 다른 플랫폼을 지원하지는 않습니다. pipelines 레포지토리는 현재 텍스트 임베딩(text embeddings), 텍스트 분류(text classification), 이미지 분류(image classification), 그리고 객체 탐지(object detection)만 지원합니다. 앞으로 훨씬 더 많은 기능을 추가할 계획입니다. 이 플러그인들은 오픈 소스입니다. 두 가지 모두 Claude를 사용해서 구축했지만, 저는 몇 년 전부터 Tokenizers를 직접 시작했습니다. 기여는 환영합니다. submitted by /u/NoahPersaud [link] [comments]