프로토타입 개발 의도: Embedding API

Embedding API는 개발자가 사용자의 기기에서 직접 콘텐츠의 고차원 벡터 표현(embeddings)을 생성할 수 있도록 하는 제안된 Web Platform API입니다.

Chrome의 온디바이스 AI (on-device AI) 인프라와 공유된 온디바이스 모델을 활용함으로써, 이 API는 시맨틱 검색 (semantic search), 검색 증강 생성 (RAG, Retrieval-Augmented Generation), 콘텐츠 클러스터링 (content clustering)과 같은 강력한 시맨틱 이해 기능을 가능하게 합니다. 이는 클라우드 서비스의 지연 시간(latency), 비용, 개인정보 보호 측면의 트레이드오프를 제거합니다. 또한, 직접 구현하는 (DIY) 클라이언트 측 방식과 비교했을 때, 사용자 측면에서는 상당한 이점(각 사이트가 거대한 모델을 개별적으로 다운로드하는 것을 방지하여 대역폭과 로컬 저장 공간을 절약)을 제공하며, 개발자 측면에서도 이점(복잡한 모델 전달 과정을 추상화하고 WebAssembly/WebGPU 프레임워크를 최신 상태로 유지)을 제공합니다.

WebAssembly 및 WebGPU와 같은 기존 웹 기술이 표준화되고 고성능이며 개인정보를 보호하는 실행 환경을 제공함에도 불구하고, 임베딩 모델을 배포하는 것은 여전히 개발자들에게 어려운 선택을 강요합니다:

WebAssembly/WebGPU (DIY): 모든 사이트가 수백 메가바이트에 달하는 자체 모델을 다운로드해야 하므로 상당한 저장 공간 및 메모리 팽창을 초래합니다.

Cloud APIs: 네트워크 지연 시간, 개발자의 비용 부담을 초래하며, 잠재적으로 민감한 사용자 텍스트를 제3자 서버로 전송해야 합니다.

상태를 유지하지 않는 (stateless) 실행을 보장하고 임베딩을 전역적으로 영구 저장하지 않음으로써, 온디바이스 API는 브라우저가 모든 오리진 (origin)에 걸쳐 단일화된 최적화 모델을 안전하게 공유할 수 있도록 하여, 일반 개발자들에게 단순하고 수준 높은 JavaScript 프리미티브 (primitive)를 제공하는 동시에 리소스 점유율을 획기적으로 줄여줍니다.

주요 사용 사례

시맨틱 검색 (Semantic Search): 노트 작성 또는 문서화 앱이 키워드가 아닌 의미를 기반으로 콘텐츠를 찾을 수 있도록 하며, 이 과정은 완전히 오프라인 상태에서 프라이버시를 유지하며 이루어집니다.

온디바이스 RAG (On-Device RAG): 사용자의 데이터에서 관련 컨텍스트를 검색하는 로컬 Q&A 봇을 구동합니다.

실시간 콘텐츠 인텔리전스 (Real-time Content Intelligence): 사용자가 타이핑하는 동안, 콘텐츠가 서버로 전송되기 전에 선제적인 모더레이션 (Moderation) 힌트나 콘텐츠 카테고리 분류를 제공합니다.

예상되는 질문들: 상호 운용성 (Interoperability)을 보장하기 위한 표준화 (Standards)의 일환으로, 다른 브라우저 벤더 및 Web Machine Learning Community Group (WebML CG)와 논의하고자 하는 문제 목록은 다음과 같습니다. (참고: 설명서의 "상호 운용 가능한 API 설계 보장" 섹션에 더 많은 내용이 나열되어 있습니다.)

모델 및 공간 선택 (Model and Space Choices): 오픈 웨이트 (Open-weight) 모델에 대한 요구 사항을 탐색하고, 개발자가 서버 측 임베딩 (Embedding) 데이터베이스와의 호환성을 보장할 수 있도록 직접 모델을 지정하거나 제공할 수 있도록 합니다.

콘텐츠 중재 (Content Mediation): 임베딩이 서버 측에서 반드시 사용되어야 하는 경우, 일종의 중재 (Mediation) 방식을 개발할 수 있을까요?