추론 전용 NPU에서 처음부터 LLM 훈련하기 — GPU 불필요

요약: VIDRAFT는 오직 추론 전용 NPU만을 사용하여 소형 언어 모델(SLM)을 완전히 사전 훈련하는 데 성공했으며, 이 과정에서 모든 단계에 걸쳐 GPU를 우회했습니다. 이 모델인 VKORE-46M-NPU는 비교 분석 자료와 함께 Hugging Face에서 공개적으로 이용 가능합니다. 대체 가속기 스택을 탐구하는 ML 엔지니어들에게 이는 추론 전용 실리콘에서의 역전파(backpropagation)가 가능하다는 구체적인 개념 증명입니다.

개요

VKORE-46M-NPU는 4,600만 개의 매개변수를 가진 소형 언어 모델(SLM)로, 오직 1세대 추론 전용 NPU만을 사용하여 처음부터 사전 훈련되었습니다. 이 NPU는 기존 ML 지식으로는 훈련 워크로드에 부적합하다고 간주되는 칩 유형입니다. 이 모델은 공개 데이터셋으로 훈련되었으며 짧은 영어 이야기 생성이 가능합니다.

더 넓은 맥락에서 볼 때: VIDRAFT는 VKORE를 구축하고 있으며, 이는 NPU가 NVIDIA GPU에 대해 CUDA가 하는 역할을 하도록 설계된 NPU 네이티브 가속 소프트웨어 계층입니다. 목표 기능 세트에는 다음이 포함됩니다:

• 추론 가속(Inference acceleration)
• 전체 사전 훈련(Full pre-training) (여기서 시연됨)
• LoRA 파인튜닝(LoRA fine-tuning)

이번 공개는 사전 훈련 마일스톤을 위한 공적인 검증 아티팩트입니다.

작동 방식

핵심 엔지니어링 과제는 추론 전용 NPU가 순방향 전달(forward passes)을 효율적으로 실행하도록 설계되었다는 것입니다. 즉, 역전파(backpropagation)에 필요한 기울기 계산 및 가중치 업데이트 연산을 지원하도록 설계되지 않았습니다. GPU 기반 훈련이 당연하게 여기는 하드웨어 수준의 기능들(유연한 메모리 접근 패턴, 고정밀 중간 버퍼, 제자리 텐서 변형 등)은 일반적으로 추론 NPU에서는 부재하거나 제한적입니다.

VIDRAFT의 접근 방식은 개념적으로 다음과 같습니다:

• NPU를 위한 커스텀 소프트웨어 추상화: NPU 공급업체의 훈련 스택(일반적으로 추론 전용 실리콘에는 존재하지 않음)에 의존하는 대신, VIDRAFT는 자체 VKORE 소프트웨어 레이어를 통해 역전파(backpropagation)를 구현하여 NPU가 훈련 가능한 컴퓨팅 기판처럼 작동하도록 만들었습니다.
• 처음부터의 사전 훈련, 워밍업 시작점 없음: 모델은 임의의 가중치로 초기화되었으며, 사전 훈련된 체크포인트는 시작점으로 사용되지 않았습니다. 이는 결과가 단순히 전이 학습(transfer learning)이나 사전 훈련처럼 포장된 미세 조정(fine-tuning)일 가능성을 배제합니다.
• 병렬 GPU 참조 실행: 정확성 검증을 위해 VIDRAFT는 동일한 조건에서 고성능 GPU로 동일한 훈련 작업을 수행하고 그 결과로 나온 손실 궤적(loss trajectories)을 비교했습니다.

정확한 구현 세부 사항—연산자 융합 전략(operator fusion strategy), 메모리 관리, 기울기 누적 메커니즘(gradient accumulation mechanisms)—은 공개되지 않았으며 곧 발표될 논문에서 설명될 예정입니다.

벤치마크 및 결과

VIDRAFT는 NPU로 훈련한 실행과 GPU로 훈련한 실행을 비교하여 얻은 핵심 정량적 결과를 보고합니다:

• 손실 궤적 상관 계수: 0.99 (동일 조건에서 NPU 훈련 실행과 동등한 GPU 훈련 실행 간)

이는 처리량 동등성(throughput parity)이 아닌 **훈련 역학 유사성(training dynamics similarity)**을 측정하는 지표입니다. 회사는 이것이 NPU가 GPU의 훈련 속도를 맞춘다는 것을 의미하지 않는다고 명확히 밝힙니다. 이것이 나타내는 것은 NPU 기반 훈련 프로세스가 통계적으로 거의 동일한 경로로 GPU 기준선에 수렴한다는 것—즉, 기울기 계산(gradient computation)이 근사적이거나 발산하는 것이 아니라 수치적으로 일관성이 있다는 의미 있는 신호입니다.

또한, VIDRAFT는 범용 공개 모델들이 동일한 NPU 하드웨어에서 추론 및 양자화된 모델 실행을 수행할 수 있음을 검증했으며, 이는 VKORE 레이어가 라이프사이클의 훈련(training)과 배포(deployment) 양쪽 측면을 모두 처리함을 시사합니다.

사용 방법

다음 아티팩트들은 Hugging Face에서 공개적으로 이용 가능합니다:

• VKORE-46M-NPU용 모델 가중치 (Model weights)
• 사용 상세 정보가 포함된 모델 카드 (Model card)
• 비교 분석 자료 (Comparative analysis materials) (GPU 대 NPU 훈련 비교)

Hugging Face CLI를 사용하여 모델을 탐색하거나 다운로드할 수 있습니다:

pip install huggingface_hub
huggingface-cli download vidraft/VKORE-46M-NPU

참고: 위에 언급된 모델명은 보도 자료에 사용된 명명 규칙을 따릅니다. 명령어를 실행하기 전에 VIDRAFT Hugging Face 페이지에서 정확한 리포지토리 슬러그를 확인하십시오.

핵심 훈련 코드는 공개되지 않았습니다. 이는 지적 재산권(IP protection) 보호를 위해 비공개로 유지됩니다. 구현을 설명하는 기술 논문은 향후 공개될 예정입니다. 이 특정 모델에 대한 공개 API 엔드포인트 언급은 현재 없습니다.

FAQ

질문: 이것이 실제로 역전파(backpropagation)인가요, 아니면 순방향 모드 미분(forward-mode differentiation)이나 진화 전략(evolution strategies) 같은 기울기 없는 근사치인가요?
답변: 보도 자료에 따르면 VIDRAFT는 NPU에서 역전파(backpropagation)를 구현했다고 명시했습니다. 이는 기울기 없는 대안이 아니라 표준적인 역방향 모드 기울기 계산으로 설명됩니다. 기술적 메커니즘은 독점적이며 향후 논문에서 자세히 다루어질 예정입니다.

질문: 0.99의 손실 상관관계(loss correlation)가 NPU 훈련이 GPU 훈련만큼 빠르다는 것을 의미하나요?
답변: 아닙니다. VIDRAFT는 이 점을 명확히 설명합니다. 상관계수(correlation coefficient)는 벽시계 처리량(wall-clock throughput)이나 샘플 효율성(sample efficiency)이 아니라 훈련 궤적의 유사성(즉, 손실 곡선이 단계별로 어떻게 진화하는지)을 측정합니다. 추론 전용 NPU는 일반적으로 훈련 워크로드에서 더 느리므로, 이 결과의 목적은 속도 벤치마킹이 아닌 정확성 검증입니다.

질문: VKORE가 LoRA 파인튜닝(LoRA fine-tuning)과 광범위한 모델 사전 훈련을 지원하는 시기는 언제인가요?
답변: VIDRAFT는 추론 가속화 및 사전 훈련과 함께 VKORE 소프트웨어 레이어의 로드맵 항목으로 LoRA 파인튜닝을 발표했습니다. 공개된 타임라인이나 사용 가능 날짜는 발표되지 않았습니다.

Q: 이것을 사용해서 저만의 NPU 하드웨어에서 훈련할 수 있나요?
A: 아직은 안 됩니다. 트레이닝 스택은 내부용입니다. 공개되는 것은 이미 훈련된 모델 가중치와 분석 자료들입니다. 곧 발표될 기술 논문과 향후 VKORE SDK 공지사항을 주목해 주세요.

원문 보도 출처 ZDNet코리아 (2026-10-14) — source article.