swift-transformers

2 년 전 (!) Apple 개발자를 지원하고 앱에 로컬 LLM 을 통합하는 데 도움을 주기 위해 시작했습니다. 이후 많은 변화가 있었습니다 (MLX 와 채팅 템플릿이 존재하지 않았음!), 그리고 커뮤니티가 라이브러리를 실제로 어떻게 사용하는지 배우게 되었습니다.
우리는 커뮤니티에게 가장 큰 이점을 제공하는 사용 사례를 강조하고 미래를 위한 기초를 마련하고자 합니다. 스포일러 알람: 이번 릴리스 후, 우리는 MLX 와 에이전트 사용 사례에 집중할 것입니다 🚀

swift-transformers

는 Apple Silicon 플랫폼 (아이폰 포함) 에서 로컬 모델을 작업하는 개발자의 마찰을 줄이기 목표로 하는 Swift 라이브러리입니다. Core ML 또는 MLX 만으로는 제공되지 않지만 로컬 추론 작업을 위해 필요한 결여된 부분들을 포함합니다. 구체적으로 다음과 같은 구성 요소를 제공합니다:

Tokenizers

. 언어 모델에 입력을 준비하는 것은 놀랍게도 복잡합니다. 우리는 AI 생태계의 기초인 tokenizers
Python 과 Rust 라이브러리를 통해 많은 경험을 쌓았습니다. 우리는 Swift 에 동일한 성능 있고 직관적인 경험을 가져오기를 원했습니다. Tokenizers
Swift 버전은 모든 것을 처리해 줄 것입니다, 채팅 템플릿과 에이전트 사용까지 포함.

Hub

. 이는 모든 오픈 모델이 이용 가능한 Hugging Face Hub 의 인터페이스입니다. Hub 에서 모델을 다운로드하고 로컬에 캐싱할 수 있으며, 배경 재개 가능 다운로드, 모델 업데이트, 오프라인 모드를 지원합니다. Python 과 JavaScript 라이브러리가 제공하는 기능의 일부로 구성되며, Apple 개발자가 가장 필요로 하는 작업에 집중합니다 (즉, 업로드 지원은 없습니다).

Models

과 Generation

. 이들은 Core ML 형식으로 변환된 LLM 을 위한 래퍼입니다. 변환은 라이브러리 범위를 벗어난 것이지만 (우리는 몇 가지 가이드를 가지고 있습니다). 변환 후 이 모듈들은 이를 통해 추론을 실행하는 것을 쉽게 만듭니다.

대부분의 사람들은 Tokenizers
또는 Hub
모듈을 사용하고, 종종 두 가지를 함께 사용합니다. swift-transformers
에 의존하는 주목할 만한 프로젝트들:

mlx-swift-examples
, Apple 에 의해. 사실, 이는 예제 모음이 아니라 MLX 를 사용하여 다양한 유형의 모델을 실행하는 데 사용할 수 있는 라이브러리 목록입니다, LLM 과 VLM (비전-언어 모델) 포함. 이는 MLX 대신 Core ML 을 위한 우리의 Models와 Generation
라이브러리와 비슷하지만, 더 많은 모델 유형을 지원하며 embedders 나 Stable Diffusion 등.

• WhisperKit, argmax 에 의해. Apple Silicon 을 위해 매우 강하게 최적화된 오픈 소스 ASR (음성 인식) 프레임워크. 우리의 Hub와 Tokenizers
  모듈에 의존합니다.

• FastVLM, Apple 에 의해, 그리고 많은 다른 앱 데모들, 예를 들어 우리 자체 SmolVLM2 네이티브 앱.

버전 1.0 은 패키지의 안정성을 신호로 합니다. 개발자들은 swift-transformers를 사용하여 앱을 구축하고 있으며, 이 첫 번째 주요 릴리스는 이러한 사용 사례를 인식하고 버전 번호를 현실과 일치시킵니다. 또한 커뮤니티와 함께 다음 기능 세트를 구축하기 위한 기초를 제공합니다. 다음은 우리가 선호하는 업데이트들입니다:

이제 일급 모듈로, 최상위 모듈입니다. 1.0 이전에는 전체 패키지에 의존하고 import 해야 했지만, 이제 Tokenizers와 Hub
만 선택할 수 있습니다.

예를 들어, Tokenizers

• Jinja 에 관해 말하자면, 우리는 John Mai (X) 와 협력하여 그의 훌륭한 Swift Jinja 라이브러리의 다음 버전을 만들었다고 자랑스럽게 발표합니다. John 의 작업은 커뮤니티에 필수적이었습니다: 그는 템플릿이 점점 더 복잡해짐에 따라 성장할 수 있는 견고한 채팅 템플릿 라이브러리를 제공하는 임무를 단독으로 수행했습니다. 새로운 버전은 몇 개의 차수 (진지하게 말하자면) 더 빠르며, swift-jinja로 여기에서 살아갑니다.

• 다운스트림 사용자에게 부과되는 부하를 더욱 줄이기 위해, 우리는 우리의 예제 CLI 타겟과를 제거했습니다, 이는 이미 사용하는 프로젝트의 버전 충돌을 방지합니다.swift-argument-parser
  의 의존성

• Apple 의 기여 덕분에, 우리는 Modern Core ML APIs를 채택했습니다. 상태ful 모델 지원 (KV-cac