Show HN: Nexa SDK – 에지 디바이스(edge devices)에서 강력하고 효율적인 AI 앱 구축하기

NexaSDK를 사용하면 최소한의 에너지로 가장 스마트하고 빠른 온디바이스(on-device) AI를 구축할 수 있습니다. 이는 최신 멀티모달(multimodal) AI 모델을 Android, Windows, Linux 디바이스 전반의 NPU, GPU, CPU에서 단 몇 줄의 코드로 로컬에서 실행할 수 있게 해주는 고성능 로컬 추론 프레임워크(inference framework)입니다.

NexaSDK는 다른 누구보다 몇 주 또는 몇 달 앞서 Qwen3-VL, DeepSeek-OCR, Gemma3n (Vision) 등 최신 모델을 지원했습니다.

⭐

최신 온디바이스 AI 기능에 관한 흥미로운 업데이트와 새로운 릴리스를 계속 확인하려면 이 저장소(repository)에 Star를 눌러주세요.

Qualcomm은 공식 블로그에서 저희를 3번이나 소개했습니다.

플랫폼	링크
🖥️ CLI	Quick Start ｜ Docs
...
다운로드:

Windows	Linux
arm64 (Qualcomm NPU)	arm64
x64	x64

NPU 액세스 토큰 (NPU 모델 사용 시 필수):

참고: 이전의 토큰 검증 서비스는 폐지되었습니다. NPU를 사용하는 경우, 아래의 액세스 토큰을 설정하기만 하면 됩니다. 추가적인 등록이나 검증은 필요하지 않습니다.

Windows의 경우:

$env:NEXA_TOKEN="key/eyJhY2NvdW50Ijp7ImlkIjoiNDI1Y2JiNWQtNjk1NC00NDYxLWJiOWMtYzhlZjBiY2JlYzA2In0sInByb2R1Y3QiOnsiaWQiOiJkYjI4ZTNmYy1mMjU4LTQ4ZTctYmNkYi0wZmE4YjRkYTJhNWYifSwicG9saWN5Ijp7ImlkIjoiMmYyOWQyMjctNDVkZS00MzQ3LTg0YTItMjUwNTYwMmEzYzMyIiwiZHVyYXRpb24iOjMxMTA0MDAwMH0sInVzZXIiOnsiaWQiOiI3MGE2YzA4NS1jYjc3LTQ3YmEtOWUxNC1lNjFjYTA2ZThmZjUiLCJlbWFpbCI6ImFsYW40QG5leGE0YWkuY29tIn0sImxpY2Vuc2UiOnsiaWQiOiI4OTlhZGQ2NS1lOTI2LTQ2M2ItODllNi0xMjc0NzM3ZjA1MzYiLCJjcmVhdGVkIjoiMjAyNS0wOS0wNlQwMDo1MzozNi4yMDNaIiwiZXhwaXJ5IjoiMjAzNS0xMi0zMVQyMzo1OTo1OS4wMDBaIn19.BXoUHIEzFMuuZbBT7RvsKO9nTi5950C6kHO64blF7XBnfKvZ6ClA8a55tmszI1ZWdngzpNFTzMM5PV5euuzMCA=="

Linux / Android adb shell의 경우:

export NEXA_TOKEN="key/eyJhY2NvdW50Ijp7ImlkIjoiNDI1Y2JiNWQtNjk1NC00NDYxLWJiOWMtYzhlZjBiY2JlYzA2In0sInByb2R1Y3QiOnsiaWQiOiJkYjI4ZTNmYy1mMjU4LTQ4ZTctYmNkYi0wZmE4YjRkYTJhNWYifSwicG9saWN5Ijp7ImlkIjoiMmYyOWQyMjctNDVkZS00MzQ3LTg0YTItMjUwNTYwMmEzYzMyIiwiZHVyYXRpb24iOjMxMTA0MDAwMH0sInVzZXIiOnsiaWQiOiI3MGE2YzA4NS1jYjc3LTQ3YmEtOWUxNC1lNjFjYTA2ZThmZjUiLCJlbWFpbCI6ImFsYW40QG5leGE4YWkuY29tIn0sImxpY2Vuc2UiOnsiaWQiOiI4OTlhZGQ2NS1lOTI2LTQ2M2ItODllNi0xMjc0NzM3ZjA1MzYiLCJjcmVhdGVkIjoiMjAyNS0wOS0wNlQwMDo1MzozNi4yMDNaIiwiZXhwaXJ5IjoiMjAzNS0xMi0zMVQyMzo1OTo1OS4wMDBaIn19.BXoUHIEzFMuuZbBT7RvsKO9nTi5950C6kHO64blF7XBnfKvZ6ClA8a55tmszI1ZWdngzpNFTzMM5PV5euuzMCA=="

첫 번째 모델 실행하기:

# Qwen3와 채팅하기
nexa infer ggml-org/Qwen3-1.7B-GGUF
# 멀티모달 (Multimodal): CLI로 이미지 드래그
...

모델 (Models): LLM, 멀티모달 (Multimodal), ASR, OCR, Rerank, 객체 탐지 (Object Detection), 이미지 생성 (Image Generation), 임베딩 (Embedding)
포맷 (Formats): GGUF, NEXA-
📖 CLI 레퍼런스 문서 (CLI Reference Docs)

pip install nexaai

from nexaai import LLM, GenerationConfig, ModelConfig, LlmChatMessage
llm = LLM.from_(model="NexaAI/Qwen3-0.6B-GGUF", config=ModelConfig())
conversation = [
...

모델 (Models): LLM, 멀티모달 (Multimodal), ASR, OCR, Rerank, 객체 탐지 (Object Detection), 이미지 생성 (Image Generation), 임베딩 (Embedding)
포맷 (Formats): GGUF, NEXA-
📖 Python SDK 문서 (Python SDK Docs)

app/AndroidManifest.xml에 추가:

<application android:extractNativeLibs="true">

build.gradle.kts에 추가:

dependencies {
    implementation("ai.nexa:core:0.0.19")
}

// SDK 초기화
NexaSdk.getInstance().init(this)
// 모델 로드 및 실행
...

요구 사항 (Requirements): Android minSdk 27, Qualcomm Snapdragon 8 Gen 4 칩셋
모델 (Models): LLM, 멀티모달 (Multimodal), ASR, OCR, Rerank, 임베딩 (Embedding)
NPU 모델 (NPU Models): 지원되는 모델 (Supported Models)
📖 Android SDK 문서 (Android SDK Docs)

docker pull nexa4ai/nexasdk:latest
export NEXA_TOKEN="your_token_here"
docker run --rm -it --privileged \
...

요구 사항 (Requirements): Qualcomm Dragonwing IQ9, ARM64 시스템
모델 (Models): LLM, VLM, ASR, CV, Rerank, 임베딩 (Embedding)
NPU 모델 (NPU Models): 지원되는 모델 (Supported Models)
📖 Linux Docker 문서 (Linux Docker Docs)

기능 (Features)	NexaSDK	Ollama	llama.cpp	LM Studio
NPU 지원 (NPU support)	✅ NPU 우선 (NPU-first)	❌	❌	❌
Android SDK 지원 (Android SDK support)	✅ NPU/GPU/CPU 지원	❌
...

범례 (Legend):
✅ 지원됨 (Supported) |
⚠️ 부분적 또는 제한적 지원 (Partial or limited support) |
❌ 지원 안 함 (No)
*

다음 프로젝트들에 감사를 표합니다:

NexaSDK는 이중 라이선스 모델 (dual licensing model)을 사용합니다:

Apache License 2.0에 따라 라이선스가 부여됩니다.

개인용 (Personal Use): Nexa AI Model Hub에서 무료 라이선스 키를 받을 수 있습니다. 각 키는 NPU 사용을 위해 1대의 디바이스를 활성화합니다. 상업용 (Commercial Use): 라이선스 관련 문의는 hello@nexa.ai로 연락해 주세요.

더 많은 모델 지원, 백엔드 (backend) 지원, 디바이스 지원 또는 기타 기능을 원하시나요? 여러분의 의견을 듣고 싶습니다!

요청 사항, 제안 또는 피드백이 있다면 저희 GitHub 저장소(repository)에 자유롭게 이슈 (issue)를 제출해 주세요. 여러분의 의견은 저희가 다음에 무엇을 구축할지 우선순위를 정하는 데 도움이 됩니다.