관리자입니다. 제가 llama.cpp를 사용하여 구축해 온, CPU 중심의 추론 서버인 Reame의 실시간 브라우저 데모를 소개합니다. 이 수치가 이 서브레딧에서 재미있을 것이라 생각합니다. 이 서버는 4-vCPU Oracle Always-Free ARM 박스에서 OLMoE (7B, 활성 MoE 1B, Q4) 모델을 초당 약 25 토큰으로 서비스하고 있습니다. 이것이 CPU에서 MoE를 사용하는 핵심입니다: 토큰당 활성 파라미터가 약 1B에 불과하기 때문에, 일반적인 7B 모델보다 약 5배 빠른 속도로 7B급 출력을 얻을 수 있습니다. 같은 박스에서 구동하는 밀집(dense)한 9B 모델은 초당 약 4.6 토큰 정도입니다만, 이 서버는 초당 약 25 토큰을 달성합니다. 호스팅 스택 전체가 €0으로 구성되어 있다는 점도 또 다른 재미있는 부분입니다: - 컴퓨팅: Oracle Always-Free ARM 박스. - 공개 HTTPS: 무료 Tailscale Funnel (도메인 없음, 유료 호스팅 없음, 외부 인바운드 포트 개방 불필요). - 프론트엔드: GitHub Pages의 정적 페이지. 위의 GIF는 CLI (reame run <모델>)가 스레드/KV/캐시를 자동 튜닝하고 OpenAI와 호환되는 API를 서비스하는 모습이며, 아래 링크는 동일한 서버의 라이브 데모입니다. ▶ 라이브 데모: https://swellweb.github.io/reame/ ⭐ 레포지토리 (MIT): https://github.com/swellweb/reame 이 프로젝트의 유일한 규칙은 CPU에서 같은 계산을 두 번 하지 않는 것입니다. 핵심 기술(moat)은 영속성/재사용 계층입니다. 프롬프트 접두사나 과거 생성 결과가 디스크에 스냅샷으로 저장되어 요청 간 또는 재시작 시 재사용되며, 또한 정확한 응답 캐시와 전체 모델 코퍼스를 공유하는 Redis 호환 데몬(ARCA)이 플릿(fleet) 전반에 걸쳐 작동합니다. 이 서버는 챗GPT 대체재가 아니라, 추출, 분류, 배치 등 좁고 반복적인 작업에 적합하도록 구축되었습니다. 한 가지 말씀드리자면: - 이것은 하나의 무료 박스이며, 한 번에 하나의 요청만 처리할 수 있습니다. 지금은 빠르지만, 만약 이 스레드가 폭주하면