Qwenputer 소개: 가중치 내부에 완전한 RISC-V CPU를 탑재하고, 모델 자체의 Gated DeltaNet 레이어를 RAM으로
요약
Qwenputer는 모델 가중치 내부에 완전한 RISC-V CPU를 탑재하고, Gated DeltaNet 레이어를 RAM으로 활용하여 아키텍처를 혁신했습니다. 이를 통해 외부 런타임 없이 순전파 과정에서 C 및 MicroPython 코드를 직접 실행할 수 있습니다. 또한 GDN 상태에 파일 시스템을 구현해 대화 기록의 영구 저장과 높은 회상률을 달성했습니다.
핵심 포인트
- 가중치 내부에 RISC-V CPU를 탑재하여 모델 기능을 확장함.
- Gated DeltaNet 레이어를 RAM으로 활용, 외부 런타임 없이 코드를 실행 가능.
- DeepMind 수학 테스트에서 97.5–100%의 높은 성능을 기록함.
- GDN 상태에 파일 시스템 구현으로 대화 상태를 영구 저장하고 회상률이 높음.
1/4
Qwenputer를 만나보세요: 모델의 가중치 내부에 완전한 RISC-V CPU를 탑재했으며, 모델 자체의 Gated DeltaNet 레이어를 RAM으로 활용합니다.
이것은 외부 런타임 없이 순전파(forward passes)에서 C와 MicroPython을 실행할 수 있습니다.
DeepMind 수학 테스트 결과: 기본 성능 55–90%, 기본 + Python 도구 사용 시 95–100%, Qwenputer는 97.5–100%를 기록했습니다.
전체 벤치마크 비교가 여기 있습니다. NUPA에서 Qwenputer는 기본 Qwen의 48.6% 대비 100%를 달성하여, Qwen + Python과 동일한 성능을 보였습니다.
실시간 데모:
https://modelscope.ai/studios/Spartan1925/Qwenputer
…
Hugging Face (HF):
https://huggingface.co/divagr1925/Qwen3.5-4B-Qwenputer
…
ModelScope:
https://modelscope.ai/models/Spartan1925/Qwen3.5-4B-Qwenputer
…
작성 글(Write-up):
https://divagr.com/blog/qwenputer
Qwen3.5는 4개 레이어 중 3개에서 Gated DeltaNet을 사용합니다. 저는 이 레이어들을 원-핫 키(one-hot keys)를 사용하여 메모리 주소를 선택함으로써 RAM으로 변환했습니다.
게이트와 쓰기 강도(write strength)를 1로 설정하여 개별 슬롯을 덮어쓰고 값을 정확하게 읽어낼 수 있으며, 채팅이 진행되어도 크기가 고정됩니다.
또한 GDN 상태 내부에 파일 시스템을 구현하여, 채팅 후 상태를 저장하고 다음 채팅에 로드할 수 있으며, 파일들은 그대로 유지됩니다.
사실(fact)이 변경되었을 때, 이전 대화를 다시 붙여넣었을 때 약 30%만 기억했던 것과 달리, ~90%를 정확하게 회상했습니다.
파일 시스템 모델:
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: 오픈소스 LLM의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기