Show HN: QVAC SDK, 로컬 AI 애플리케이션 구축을 위한 범용 JavaScript SDK

여러분 안녕하세요, 오늘 저희는 데스크톱과 모바일에 걸쳐 로컬 AI 애플리케이션을 구축하기 위한 범용 JavaScript/TypeScript SDK인 QVAC SDK [0]를 출시합니다.

이 프로젝트는 Apache 2.0 라이선스 하에 완전히 오픈 소스로 제공됩니다. 저희의 목표는 개발자들이 수많은 서로 다른 엔진, 런타임(runtime), 그리고 플랫폼별 통합 기능을 일일이 결합할 필요 없이 유용한 로컬 우선(local-first) AI 앱을 더 쉽게 구축할 수 있도록 돕는 것입니다. 내부적으로 이 SDK는 저희의 크로스 플랫폼 추론(inference) 및 미세 조정(fine-tuning) 엔진인 QVAC Fabric [1]을 기반으로 구축되었습니다.

QVAC SDK는 Pear 생태계 [3]의 일부인 경량 크로스 플랫폼 JavaScript 런타임(runtime) Bare [2]를 사용합니다. 이는 Node, Bun, React Native (Hermes)를 위한 내장 도구를 갖추고 있어 거의 어디에서나 워커(worker)로 사용될 수 있습니다.

현재 지원하는 몇 가지 기능은 다음과 같습니다:

- 데스크톱, 모바일 및 서버 전반에 걸친 로컬 추론 (Local inference)
- LLM, OCR, 번역, 전사 (transcription), 음성 합성 (text-to-speech) 및 비전 모델 (vision models) 지원
...

저희는 문서화 [5]에도 많은 노력을 기울였습니다. 문서는 사람과 AI 코딩 도구 모두가 읽을 수 있도록 구조화되어 있어, 실제로 여러분이 즐겨 사용하는 코딩 어시스턴트를 통해 매우 빠르게 작업을 진행할 수 있습니다.

아직 개선이 필요한 몇 가지 사항은 다음과 같습니다:

- 현재 Bare 애드온의 패키징이 아직 충분히 효율적이지 않기 때문에 번들 크기 (Bundle sizes)가 현재 저희가 원하는 것보다 큽니다.
- 플러그인 워크플로우 (Plugin workflow)를 더 단순화할 수 있습니다.
- 트리 쉐이킹 (Tree-shaking)은 이미 가능하지만, 현재는 여전히 CLI 단계가 필요하며, 저희는 이를 더 자동화하고 빌드 프로세스에 더 잘 통합되도록 만들고 싶습니다.

이번 출시는 시작일 뿐입니다. 저희는 사람들이 훨씬 더 큰 규모로 로컬 AI를 구축할 수 있도록 돕고 싶습니다. 어떤 피드백이든 진심으로 환영합니다! 전체 비전은 공식 웹사이트 [6]에서 확인할 수 있습니다.

참고 문헌:

[0] SDK: http://qvac.tether.io/dev/sdk

[1] QVAC Fabric: https://github.com/tetherto/qvac-fabric-llm.cpp

[2] Bare: https://bare.pears.com

[3] Pear Runtime: https://pears.com

[4] Holepunch: https://holepunch.to

[5] Docs: https://docs.qvac.tether.io

[6] Website: https://qvac.tether.io