🇫🇷 프랑스의 한 AI 기업이 16GB RAM만 갖춘 🍎 Apple MacBook Air에서도 72 tps로 구동되는 7B 모델을 출시했습니다! - 전용(discrete) GPU가 필요하지 않습니다.
작은 5-bit 버전보다 실제로는 6-bit 양자화(quantization)가 더 빠릅니다! 🤷♂️
Olala-v1.0-mini-7A1B는 OVHcloud 🇫🇷의 새로운 모델입니다.
이 모델은 하이브리드 Mamba-3, 어텐션(attention), 그리고 Mixture-of-Experts (MoE) 아키텍처를 사용하여 구축된 오픈 웨이트 추론(reasoning) 모델입니다.
그리고 로컬 하드웨어에서 효율적으로 실행되도록 설계되었습니다. 👏
모델 사양 ...
🧠 총 6.8B 파라미터
⚡ 토큰당 약 1B 활성 파라미터
🏗️ Mamba-3 레이어 29개 + 어텐션 레이어 7개
📚 32K 컨텍스트
🐝 네이티브 도구 호출(tool calling)
💭 4단계 추론 노력 수준
🌍 12.8조 토큰으로 학습
🔓 Apache 2.0 라이선스
M5 MacBook Air에 단지 16GB 통합 메모리만 갖춘 환경에서 OVHcloud가 보고한 성능 결과입니다.
GGUF → 크기 → 생성 속도
🟢 Q8_0 → 6.9GB → 60 tps
🔥 Q6_K → 6.3GB → 72 tps 👈
🔵 Q5_K_M → 6.0GB → 44 tps
또한 Q6 버전은 932 tps의 PP(Perplexity)도 제공합니다.
이 측정값들은 512 토큰 프롬프트와 128 생성 토큰을 사용했습니다.
OVHcloud는 세 가지 양자화 버전 모두 테스트된 코딩 및 수학 평가에서 원래 BF16 모델의 기준치 노이즈 범위 내에서 성능을 발휘한다고 보고합니다.
이는 6-bit 모델이 품질 저하 없이 가장 측정된 생성 속도를 제공한다는 것을 의미합니다.
이 모델은 추론, 다중 턴 도구 사용(multi-turn tool use), 그리고 에이전트 워크플로우(agentic workflows)를 지원합니다.
그래서 locamaxxer의 세부 정보는 ...
💾 6.3GB Q6 GGUF
🍎 16GB Mac에서 실행 가능
🟢 NVIDIA GPU 지원
💻 CPU 추론 지원
🐝 OpenAI와 호환되는 API를 통한 도구 호출
🔓 다운로드 가능한 가중치 및 런타임 코드
⚠️ 현재 GGUF는 OVHcloud의 커스텀 llama.cpp 포크가 필요합니다.
표준 llama.cpp, Ollama, 그리고 LM Studio에서는 아직 이 아키텍처를 지원하지 않습니다.
Apple Silicon용 MLX 구현체도 있습니다.
링크는 ALT에 있습니다.