LLM 안에 LLM을 넣기 - Qwen에 RISK-V CPU를 삽입했던 사람이 이제 Qwen 3.5-4B의 가중치 내부에 컴파일된 NPU에서

요약

QwenPU는 하나의 LLM 내부에 또 다른 LLM을 실행하는 'LLM in LLM' 구조를 구현했습니다. 이는 Qwen 3.5-4B의 가중치 자체에 NPU(행렬 곱셈, softmax 등)를 컴파일하여 작동시킵니다. 이 방식을 통해 외부 도구 없이 Qwen 자체 메모리만으로 복잡한 연산을 처리할 수 있습니다.

핵심 포인트

• LLM 안에 LLM을 실행하는 혁신적인 'LLM in LLM' 구조 제시
• Qwen 3.5-4B 가중치 내부에 NPU를 컴파일하여 구현함
• matmuls, softmax 등 핵심 연산을 외부 의존성 없이 처리 가능
• 모든 과정이 Qwen 자체 메모리에서 이루어지는 것이 특징