Janas - SSD를 활용해 RAM보다 큰 MoE 언어 모델을 실행하는 추론 엔진

RAM에 다 들어가지 않는 MoE 언어 모델을 일반 PC에서 실행하는 로컬 추론 엔진으로, 토큰마다 필요한 가중치를 NVMe SSD에서 읽어 사용- MoE 모델 내부의 전문가(expert) 중
자주 사용하는 부분은 메모리에 캐시하며, GPU 없이도 실행 가능 - Core Ultra 9 185H와 내장 Arc GPU, 32GB RAM 노트북에서
48.4GB Qwen3-Next-80B-A3B를 초당 24토큰으로 실행, 같은 기기의 llama.cpp는 2.8토큰/초 기록 - 다음 토큰을 미리 생성하고 모델이 검증하는
초안 기반 생성으로 같은 모델의 채팅 속도는 37토큰/초 기록 - 터미널 채팅과 코드 자동완성, HTTP API와 MCP 연동 제공.
Linux/Windows x86-64를 지원하는 초기 실험 단계로, 다른 하드웨어의 성능과 안정성은 검증 범위가 제한적

SSD와 메모리 캐시를 함께 활용

**MoE(전문가 혼합)**는 모델의 모든 가중치를 매번 사용하는 대신, 입력에 따라 일부 전문가를 선택해 계산하는 구조- Janas-LLM은 가중치를 디스크에 두고 필요한 전문가를 읽으며, 반복해서 사용하는 부분은 RAM에 유지

• 프롬프트 처리와 토큰 생성에 적합한 스레드 구성을 실측해 선택하고, 실행 중에도 주기적으로 재시험
• GPU는 선택 사항이며, Qwen과 Gemma 계열의 MoE 및 밀집 모델 지원. 모델별 범위는 기능 문서에서 확인 가능

32GB 노트북에서의 측정 결과

• Debian 13,
  Core Ultra 9 185H, 내장 Arc GPU, 32GB DDR5 RAM, 읽기 약 5.7GB/초의 NVMe SSD에서 측정 - 아래 비교는 1,024토큰 프롬프트와 16토큰 생성 기준이며, 양쪽 모두 초안 생성은 사용하지 않음

• llama.cpp는 메모리 부족을 피하도록 가중치 재패킹을 끄고 파일에 전문가를 남기는 설정 사용. Janas는 약 19GB의 전문가 캐시와 SSD 읽기를 활용
  단일 기기 측정이며 생성 방식도 완전히 같지 않음. llama-bench는 선행 프롬프트 없이, janas-bench는 프롬프트 처리 후 생성- 별도 영어 채팅 측정에서는 초안 생성으로 Qwen3-Next-80B가
  22에서 37토큰/초로 향상. 효과는 생성할 내용과 언어에 따라 달라짐

채팅과 개발 도구 연동

janas-chat

으로 터미널 대화와 외부 MCP 도구 사용 가능- HTTP 서버와 MCP 서버로 로컬 모델을 다른 애플리케이션과 Claude Code 등에 연결

• 코드 자동완성을 VS Code와 VSCodium에서 llama.vscode 또는 Continue로 이용 가능
• 변환된 모델을 Hugging Face에서 내려받거나, GGUF 파일을 자체
  .jns

형식으로 변환 C 기반, Linux/Windows x86-64 지원. GNU GPL 3 이상이며, 모델 파일에는 원래 모델의 라이선스 적용

현재 개발 상태

• 초기 실험으로 공개 API와 명령줄이 예고 없이 바뀔 수 있음
• 메모리 캐시와 집중적인 SSD 읽기로 다른 프로그램이 느려질 수 있으며, 캐시 상한 설정 가능
• 개발과 주요 측정은 한 노트북에서 이루어짐. 다른 CPU와 외장 GPU, 느린 SSD 등에서의 검증은 하드웨어 문서와 측정 보고서를 통해 진행