Janas: SSD에서 스트리밍하여 RAM보다 큰 LLM 구동하기

Janas SSD streaming overview

Janas란 무엇인가

Janas는 SSD에서 전문가 모델(expert models)을 스트리밍하여 RAM보다 큰 LLM을 구동하는 도구입니다. 이 도구는 2026년 10월에 출시되었으며, 값비싼 GPU를 구매하지 않고도 대규모 모델을 로컬에서 실행하려는 개발자들 사이에서 조용히 인기를 얻고 있습니다.

핵심 원리는 간단합니다. 전체 모델을 RAM에 올리는 대신, Janas는 필요할 때마다 SSD로부터 전문가(experts)들을 스트리밍합니다. 이는 평소에는 100GB의 RAM이 필요한 모델을 16GB 메모리를 가진 기기에서도 구동할 수 있다는 의미입니다. 다만, 트레이드오프가 존재하는데, 속도입니다. SSD 스트리밍은 RAM보다 느리지만, 디스크로 스왑(swapping)하는 것보다는 훨씬 빠릅니다.

저는 16GB RAM을 가진 제 기기에서 Janas를 일주일 동안 테스트해 보았습니다. 여기 저의 솔직한 리뷰가 있습니다.

주요 기능

Janas는 다음과 같은 여러 기능을 갖추고 있어 눈에 띕니다:

• SSD 스트리밍: SSD에서 전문가 모델을 스트리밍하여 RAM보다 큰 LLM 구동 가능
• 전문가 수준의 세분성(Expert-level granularity): 전체 모델이 아닌 현재 토큰에 필요한 전문가만 스트리밍
• Open-weight 모델 지원: 모든 open-weight MoE 모델과 작동
• CLI 및 API: 터미널에서 Janas를 사용하거나 자체 도구에 통합 가능
• 캐싱 계층(Caching layer): 자주 사용되는 전문가들을 RAM에 캐시하여 더 빠른 접근 속도 제공
• 모니터링(Monitoring): RAM 사용량, SSD 스트리밍 속도, 캐시 적중률 등을 표시

SSD 스트리밍은 실제로 작동합니다. 저는 16GB RAM 장비에서 70B MoE 모델을 실행해 보았습니다. 느리긴 했지만 작동했습니다. Janas가 없었다면 같은 모델은 아예 로드되지 않았을 겁니다. 전문가(expert) 수준의 세밀함이 핵심 통찰력입니다. 전체 모델을 스트리밍하는 대신, Janas는 현재 토큰에 필요한 전문가들만 스트리밍합니다. 이는 SSD I/O를 많이 절약해 줍니다.

캐싱 계층(caching layer)이 진정한 강점입니다. Janas는 자주 사용되는 전문가들을 RAM에 캐시합니다. 몇 시간 동안 사용한 후에는 가장 흔하게 사용되는 전문가들이 이미 RAM에 존재하며, SSD 스트리밍은 최소화됩니다. 저는 같은 프롬프트를 두 번 실행하여 테스트해 보았습니다. 두 번째 실행이 눈에 띄게 빨랐는데, 이는 전문가들이 이미 캐시되었기 때문입니다.

저는 같은 프롬프트를 두 번 실행하여 테스트했습니다. 품질 차이가 느껴졌습니다. 캐시된 실행은 모델 전체를 RAM에서 실행하는 것과 거의 비슷한 속도였습니다. 핵심은 Janas가 아니라 사용자가 선택할 수 있다는 점입니다.

모니터링 기능이 인상적입니다. Janas는 RAM 사용량, SSD 스트리밍 속도, 그리고 캐시 적중률(cache hit rate)을 보여줍니다. 이를 통해 무엇이 일어나고 있는지 쉽게 파악하고 캐시 크기를 조정할 수 있습니다.

Where Janas needs work

문제점 (Where It Broke)

Janas가 완벽하지는 않습니다. CLI(Command Line Interface)는 똑똑하지만 오류가 없는 것은 아닙니다. 모델이 깨진 출력을 내놓는 몇 가지 사례를 겪었습니다. 자동 감지 기능은 토큰을 기반으로 올바른 전문가를 찾으려고 시도하지만, 항상 정확한 것은 아닙니다. 수동 전문가 선택이 더 신뢰성이 높지만, 이는 자동 라우팅의 목적을 상쇄합니다.

SSD 스트리밍은 인상적이지만 완벽하지는 않습니다. Janas가 때때로 너무 많은 전문가를 한 번에 스트리밍한다는 것을 발견했습니다. 이는 오버헤드를 만들고 전체 프로세스를 느리게 만듭니다. 수동 캐시 조정이 더 신뢰성이 높지만, 이 역시 자동 캐싱의 목적을 상쇄합니다.

모델 지원은 인상적이지만 완벽하지는 않습니다. 저는 Janas가 때때로 특정 오픈 웨이트 모델을 로드하는 데 실패한다는 것을 발견했습니다. 이는 좌절감을 주고 좋아하는 모델과 Janas를 사용하기 어렵게 만듭니다. 수동으로 모델을 설정하는 것이 더 신뢰성이 높지만, 모델 지원의 목적에 위배됩니다.

누가 이 제품을 사용할까요 (Who This Is For)

• 로컬에서 LLM을 실행하고 싶지만 충분한 RAM이 없는 개발자
• 비싼 GPU를 구매하지 않고 대규모 모델을 실행해야 하는 팀
• 모든 것을 로컬에 보관하려는 개인 정보 보호에 민감한 사용자
• 소비자 하드웨어에서 대규모 모델로 실험하고 싶은 취미가
• 오픈 웨이트 MoE 모델을 다루고 통합 인터페이스를 원하는 개발자
• 엣지 디바이스에서 LLM을 실행해야 하는 팀

자주 묻는 질문 (Common Questions)

Q: Janas는 무료인가요?

A: CLI는 MIT 라이선스 하에 무료 오픈 소스입니다. 사용자가 이미 가지고 있는 SSD와 RAM에 대해서만 비용을 지불합니다. 구독료는 없습니다.

Q: Janas는 llama.cpp와 어떻게 비교되나요?
A: llama.cpp가 일반적인 사용에는 더 세련되었지만, SSD 스트리밍은 지원하지 않습니다. Janas는 SSD 스트리밍과 전문가 수준의 정밀도를 제공합니다. llama.cpp는 캐주얼 사용자에게 더 나은 UX를 가지고 있지만, Janas는 제어력을 원하는 파워 유저에게 더 적합합니다.

Q: 모든 모델에 Janas를 사용할 수 있나요?
A: Janas는 모든 오픈 웨이트 MoE 모델과 작동합니다. 밀집(dense) 모델이나 클로즈드 소스 모델과는 작동하지 않습니다. 전문가 수준의 정밀도는 MoE 아키텍처에만 해당됩니다.

요약 (Bottom Line)

Janas는 실제 문제에 대한 진정한 해결책입니다. SSD 스트리밍, 전문가 수준의 정밀도, 캐싱 레이어 등은 마케팅 수법이 아닙니다.

원하는 모델을 실행할 만큼 충분한 RAM이 없어서 지쳤다면 Janas를 사용해 보세요. 무료 티어는 돈을 들이지 않고 테스트하기에 충분히 관대합니다.

CLI는 개선이 필요하며, 특정 오픈 웨이트 모델에서는 모델 지원이 실패할 수 있습니다. 하지만 비싼 GPU를 구매하지 않고 대규모 모델을 로컬에서 실행하려는 개발자에게 Janas는 현존하는 최고의 옵션 중 하나입니다.

제가 배운 것 (What I Learned About Myself)

Janas를 사용하면서 저는 로컬 LLM에 대해 잘못 생각하고 있었다는 것을 깨달았습니다. 항상 좋은 모델을 로컬에서 실행하려면 거대한 GPU나 거대한 RAM이 필요하다고 가정했습니다. Janas는 SSD 스트리밍이 그 격차를 메울 수 있다는 것을 보여주었습니다. 속도는 느리지만 작동합니다.

또한 저는 '만약을 대비하는' 사용자라는 것도 알게 되었습니다. 필요하지 않아도 가능한 가장 큰 모델을 실행하고 싶어 합니다. Janas 덕분에 제 16GB 장비에서도 그것이 가능합니다. 하지만 대부분의 시간 동안은 어차피 RAM에 들어가는 7B 모델을 실행합니다. SSD 스트리밍은 더 큰 무언가를 실험하고 싶은 날들을 위한 것입니다.

모두가 저지르는 실수

제가 로컬 LLM에서 사람들이 가장 많이 하는 실수는 이를 클라우드 모델과 직접 비교하는 것입니다. 로컬 모델을 돌리고 Claude만큼 좋지 않다고 불평합니다. 그게 요점이 아닙니다. 요점은 대부분의 작업에 충분히 좋은 로컬 옵션을 갖는 것입니다. Janas는 충분히 좋습니다.

또 다른 실수는 로컬 LLM이 클라우드 LLM처럼 빠를 것이라고 기대하는 것입니다. 결코 그렇지 못할 것입니다. 하드웨어 자체가 그 속도를 뒷받침하지 못합니다. 하지만 많은 작업에서 속도 차이는 중요하지 않습니다. 연구나 실험을 위해 모델을 실행한다면, 빠르다는 것이 필요하지 않습니다.

오늘 시작한다면

Janas가 여러분의 GPU를 대체할 것이라고 기대하지 마세요. 그렇지 않을 것입니다. 이는 RAM이 충분하지 않을 때의 영리한 해결책입니다. VRAM이 충분한 GPU가 있다면 그것을 사용하세요. 없다면, Janas는 좋은 선택지입니다.

가능한 가장 큰 모델을 실행하려고 하지 마세요. 작업에 맞는 모델을 실행하세요. 7B 모델이 필요하면 7B 모델을 실행하세요. 단지 할 수 있다는 이유만으로 16GB 장비에서 70B 모델을 돌리려고 시도하지 마세요. 느릴 것이고 즐겁지 않을 것입니다.

실험하는 것을 두려워하지 마세요. Janas는 무료입니다. 다양한 모델과 다른 캐시 크기로 사용해 보세요. 자신에게 맞는 것을 찾아보세요. 최고의 설정은 실제로 사용하는 설정입니다.

최고의 로컬 LLM 설정은 여러분의 하드웨어에 맞는 것입니다. Janas는 이것을 더 많은 사람들에게 가능하게 만듭니다. 그것이 유일하게 중요한 지표입니다.