VKORE: 추론 전용 NPU에 AI 학습 기능을 구현하는 VIDRAFT의 소프트웨어 스택
요약
VIDRAFT는 VKORE라는 소프트웨어 가속 레이어를 개발하여, 원래 추론 전용으로 설계된 NPU에서도 학습(training) 워크로드를 실행할 수 있게 했습니다. 이 소프트웨어 스택은 하드웨어 교체 없이도 단일 사용자 추론 처리량을 높이고, CPU 대비 월등한 학습 처리량을 제공합니다.
핵심 포인트
- VKORE는 NPU에 CUDA와 같은 범용 컴퓨팅 추상화를 소프트웨어로 제공한다.
- 하드웨어 수정 없이 추론 전용 칩의 기능을 확장하여 학습까지 가능하게 한다.
- 소프트웨어 번역 및 스케줄링을 통해 누락된 연산자 커버리지를 보완한다.
VKORE: 추론 전용 NPU에 AI 학습 기능을 구현하는 VIDRAFT의 소프트웨어 스택
요약: VIDRAFT는 VKORE라는 소프트웨어 가속 레이어를 개발했습니다. 이 레이어는 원래 추론 전용으로 설계된 NPU에서도 추론과 학습(training) 워크로드를 모두 실행할 수 있게 합니다. 하드웨어 교체는 필요하지 않습니다. 같은 NPU에서 VKORE는 단일 사용자 추론 처리량을 최대 3.8배 빠르게 만들고, CPU만 사용한 기준 대비 약 170배의 학습 처리량을 제공합니다. 이질적인 컴퓨팅과 GPU 대안 인프라를 탐색하는 ML 엔지니어에게는 주목할 만한 중요한 신호입니다.
개요
VKORE(브이코어)는 VIDRAFT가 개발한 NPU(Neural Processing Units)용 독점 AI 가속 소프트웨어 레이어입니다. 회사가 사용하는 개념적 비유는 의도적입니다: VKORE는 NPU에 대해 CUDA가 NVIDIA GPU에 하는 역할을 하도록 설계되었습니다. 즉, 달리 제한된 운영 프로파일에 고정되어 있던 하드웨어 위에 프로그래밍 가능한 범용 컴퓨팅 추상화를 제공하는 것입니다.
핵심적인 차이점은 VKORE가 **소프트웨어만으로 작동하는 개입(intervention)**이라는 점입니다. 이는 근본적인 실리콘을 교체하거나 수정할 필요가 없습니다. 대신, 하드웨어 제조사들이 추론 전용 장치로 출하한 NPU를 대상으로 하며, 소프트웨어 최적화를 통해 해당 칩이 다음 기능을 지원하도록 확장합니다:
- AI 추론 가속: (처리량 및 지연 시간 개선)
- AI 모델 학습: (트랜스포머(Transformer) 모델 학습 확인. 심지어 공급업체 문서에 학습을 지원 워크로드로 명시하지 않은 NPU에서도 가능합니다.)
VIDRAFT는 관련 특허 16건을 출원했으며, VKORE를 하드웨어 비종속적(hardware-agnostic) 소프트웨어 레이어로 개발하고 있습니다. 즉, 특정 NPU 공급업체의 실리콘에 종속되지 않습니다.
작동 방식
높은 개념적 수준에서, VKORE는 ML 워크로드를 NPU 하드웨어 기본 요소와 연결하는 소프트웨어 번역 및 스케줄링 레이어 역할을 합니다.
추론 전용 NPU(NPU)는 일반적으로 제한적인 명령어 표면(instruction surface)을 노출합니다. 이는 사전 컴파일된 순전파 그래프(forward-pass graphs)를 효율적으로 실행하기에는 충분하지만, 학습에 필요한 역전파 과정(gradient computation, weight updates)에 필요한 연산자 커버리지(operator coverage)가 부족합니다. VKORE의 접근 방식은 이러한 누락된 컴퓨팅 기본 요소(compute primitives)를 소프트웨어로 구현하는 것입니다. 이때 NPU가 네이티브하게 지원하는 저수준 연산을 조합하고 스케줄링하여 하드웨어 활용도를 극대화합니다.
추론(inference)의 경우, 이는 공급업체의 기본 런타임 스택(runtime stack)으로는 수행하지 못하는 공격적인 배치 처리(aggressive batching)와 파이프라인 최적화(pipeline optimization)를 의미합니다. 학습(training)의 경우, 이는 트랜스포머(Transformer) 학습 연산을 NPU가 실행할 수 있는 커널로 분해하는 것을 의미하며—본질적으로 하드웨어 자체를 건드리지 않으면서 '추론 칩'과 '범용 ML 가속기' 사이의 격차를 메우는 것입니다.
VIDRAFT는 VKORE를 자사의 두 가지 내부 워크로드 카테고리에 적용할 계획입니다:
- AI 판단 엔진(AI Judgment Engines) — 주어진 입력에 대해 자유 형식 텍스트를 생성하기보다 확률이나 점수를 반환하는 모델 (판별적/스코어링 작업)
- 재귀적 자가 개선(Recursive Self-Improvement, RSI) 모델 — 모델이 문제를 반복적으로 해결하고 검증된 결과를 자체 학습 루프에 다시 공급하는 경우
장기적인 인프라 비전은 GPU 의존성 없이 동일한 하드웨어 플릿에서 서비스(serving)와 지속적 학습(continuous learning)을 모두 처리하는 통합 NPU 기반 AI 데이터 센터입니다.
벤치마크 및 결과
아래 모든 수치는 ZDNet Korea가 보도한 VIDRAFT의 공개 발표 자료에서 직접 가져온 것입니다:
| 지표 (Metric) | 결과 (Result) |
|---|---|
| 단일 사용자 추론 지연 시간 개선 (동일 NPU, VKORE 사용 vs. 미사용) | 3.8배 |
| ... | |
| On the model side, VIDRAFT also reported benchmark results for Darwin-27B-ZTC-v5, its judgment engine model: |
- 글로벌 공개 벤치마크 S1MB에서 152개 모델 중 전체 순위 1위를 차지함 (2026년 10월 13일 기준)
- Darwin 모델 패밀리는 AIME 2026 및 HMMT 2026 (경쟁 수학 추론 벤치마크)에서 만점을 달성함
VIDRAFT는 S1MB 리더보드에서 Perplexity, Cloudflare, Meta의 모델들보다 성능이 우수하다고 언급했습니다.
사용 방법
VKORE 자체는 아직 공개적으로 이용 가능하지 않습니다. 현재 독점 인프라 소프트웨어로 개발 중이며, 가속 레이어에 대한 공개 SDK, GitHub 저장소 또는 API는 발표되지 않았습니다.
하지만 VIDRAFT의 Darwin 모델 패밀리는 Hugging Face에서 문서화된 공개적 존재감을 가지고 있습니다. 이전 VIDRAFT 출시 버전(이전에 다섯 개의 Hugging Face 벤치마크에서 최고 기록을 세웠던 Darwin-180B-RSI 포함)을 기반으로, 다음 명령어를 통해 Hugging Face의 VIDRAFT 조직 페이지에서 공개적으로 출시된 체크포인트를 확인할 수 있습니다:
huggingface-cli search models --author VIDRAFT
VIDRAFT가 운영할 수 있는 OpenAI 호환 추론 API에 대한 접근은 공식 채널을 주시해야 합니다. 이 발표에서는 공개 엔드포인트가 확인되지 않았습니다.
FAQ
Q: VKORE는 새로운 컴파일러인가요, 커스텀 런타임인가요, 아니면 다른 것인가요?
A: 공개된 정보를 바탕으로 볼 때, VKORE는 소프트웨어 가속 **레이어(layer)**로 설명하는 것이 가장 적절합니다. 기능적으로 CUDA와 유사하며, 애플리케이션 레벨 ML 프레임워크와 NPU 하드웨어 사이에 위치합니다. 정확한 구현 세부 사항(컴파일러 포함 여부, 커널 라이브러리, 런타임 스케줄러 또는 이 모든 것)은 공개되지 않았습니다.
Q: VKORE는 어떤 NPU를 지원하나요?
A: VIDRAFT는 VKORE가 특정 NPU 공급업체에 종속되지 않고 하드웨어와 무관하게(hardware-agnostic) 작동하도록 명시적으로 구축하고 있습니다. 구체적인 지원 하드웨어 목록은 공개되지 않았습니다. 이 회사가 밝힌 목표는 단일 공급업체 솔루션보다는 광범위한 NPU 호환성입니다.
Q: 오늘 NPU에서 자체 Transformer 모델을 학습시키는 데 VKORE를 사용할 수 있나요?
A: 현재는 공개적으로 불가능합니다. VKORE는 개발자 도구로 출시되지 않았습니다. 다만, 이 학습 기능은 NPU 하드웨어에서 내부적으로 시연된 바 있으며, VIDRAFT 측에서는 자체 판단 엔진 및 RSI 모델 워크플로우에 VKORE를 사용할 것이라고 밝혔으나, 아직 공지된 공개 접근 경로는 없습니다.
원문 출처: ZDNet코리아 (2026-10-13) — source article.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기