AnyLanguageModel 소개: Apple 플랫폼에서 로컬 및 원격 LLM을 위한 단일 API

LLM(Large Language Models)은 소프트웨어 구축에 필수적인 도구가 되었습니다. 하지만 Apple 개발자들에게는 여전히 통합 과정이 불필요하게 고통스럽습니다.

AI 기반 앱을 개발하는 개발자들은 일반적으로 다음과 같은 조합의 하이브리드 접근 방식을 채택합니다:

• 개인 정보 보호 및 오프라인 기능을 위해 Core ML 또는 MLX를 사용하는 로컬 모델
• 최첨단 기능(frontier capabilities)을 위한 OpenAI나 Anthropic과 같은 클라우드 제공업체
• 시스템 레벨 폴백(system-level fallback)으로서의 Apple의 Foundation Models

각각은 다른 API, 다른 요구 사항, 다른 통합 패턴을 가집니다. 이는 방대한 양이며 빠르게 누적됩니다. AI 기반 앱 개발에 대해 개발자들을 인터뷰했을 때, 모델 통합의 마찰(friction)이 즉시 제기되었습니다. 한 개발자는 이를 직설적으로 표현했습니다:

테스트를 위해 데모를 빨리 사용하고 빠르고 대충 만드는 빌드를 할 생각이었는데, 대신 너무 많은 시간을 낭비했어요. 미치겠더라고요.

실험 비용이 높다는 점은 개발자들이 로컬에서 실행되는 오픈 소스 모델이 실제 사용 사례에 매우 효과적일 수 있다는 사실을 발견하는 것을 주저하게 만듭니다.

오늘 저희는 여러 모델 제공업체(multiple model providers)를 지원하며 Apple의 Foundation Models 프레임워크의 드롭인 대체재(drop-in replacement)를 제공하는 Swift 패키지 AnyLanguageModel을 발표합니다. 우리의 목표는 Apple 플랫폼에서 LLM 작업의 마찰을 줄이고 로컬에서 실행되는 오픈 소스 모델 채택을 더 쉽게 만드는 것입니다.

핵심 아이디어는 간단합니다:

import 구문을 교체하고, 동일한 API를 유지합니다.

• import FoundationModels<br>+ import AnyLanguageModel

실제로는 다음과 같습니다. Apple의 내장 모델로 시작해 보겠습니다:

let model = SystemLanguageModel.default
let session = LanguageModelSession(model: model)
let response = try await session.respond(to: