Mac용 지능형 레이어 스트리밍 및 캐싱 기능 제공 — 128GB RAM이 필요 없습니다.
LLaMA 70B와 같은 대규모 언어 모델(Large language models)은 4비트 양자화(quantization)를 사용하더라도 약 40GB 이상의 RAM을 요구합니다. 대부분의 MacBook은 16~36GB의 통합 메모리(unified memory)를 가지고 있습니다. 사용자들은 다음 중 하나를 선택해야 합니다:
-
🧱 계층별 스트리밍 (Layer-Level Streaming) — 한 번에 RAM에 1~2개의 트랜스포머 레이어만 로드
-
🔮 예측 사전 불러오기 (Predictive Prefetching) — GPU가 연산하는 동안 madvise(MADV_WILLNEED)를 통해 다음 레이어를 비동기적으로 로드
-
📦 스마트 LRU 캐시 (Smart LRU Cache) — 자주 사용되는 레이어(임베딩, 초기 어텐션 등)를 RAM에 고정 유지
-
🗺️ mmap + madvise — 지능형 페이지 힌트가 적용된 운영체제(OS) 레벨 메모리 매핑 파일
-
⚡ Metal 컴퓨팅 (Metal Compute) — Metal 셰이더 기반의 SIMD 최적화된 행렬 곱셈(matmul), 소프트맥스(softmax), RoPE, RMSNorm
-
📄 GGUF 지원 (GGUF Support) — llama.cpp 양자화 형식(Q4_0, Q8_0, F16, F32)과 호환
-
🔤 BPE 토크나이저 (BPE Tokenizer) — GGUF 어휘집에서 온 SentencePiece 지원을 포함한 완전한 바이트 쌍 인코딩(Byte-Pair Encoding)
-
🔌 Ollama 호환 API (Ollama-compatible API) — OpenAI와 호환되는 엔드포인트를 가진 드롭인 대체 서버
-
📡 스트리밍 (Streaming) — 청크 전송(Ollama) 및 SSE(OpenAI)를 통한 실시간 토큰별 스트리밍
-
🎯 추측 디코딩 (Speculative Decoding) — 작은 초안 모델(draft model)을 사용하여 토큰을 제안하고, 타겟 모델이 검증하여 2~3배의 속도 향상을 달성
-
📦 배치 프리필 (Batch Prefill) — 레이어 기반 프롬프트 처리: 모든 프롬프트 토큰에 대해 각 레이어를 한 번 로드하여 SSD 읽기 최소화
-
🎛️ 적응형 초안 길이 (Adaptive Draft Length) — 이동 평균 수용률(rolling acceptance rate)을 기반으로 추측 깊이 K를 동적으로 조정
-
📦 프롬프트 접두사 캐싱 (Prompt Prefix Caching) — 반복되는 프롬프트 접두사(시스템 프롬프트, 템플릿 등)의 KV 캐시 상태를 재사용하며, 서버 재시작 시 즉각적인 워밍업을 위해 영구 디스크 저장소를 활용
-
🔄 연속 배치 처리 (Continuous Batching) — 여러 동시 요청을 처리하고, 시퀀스 전반에 걸쳐 레이어 로드를 공유
-
🔀 텐서 병렬화 (Tensor Parallelism) — 행렬 곱셈(matmul)을 여러 스레드에 분산하여 더 나은 GPU/CPU 활용도를 달성
-
🪟 슬라이딩 윈도우 어텐션 (Sliding Window Attention) — 최근 W개의 토큰에만 어텐션을 제한하고, 메모리 경계를 설정하기 위해 선택적 싱크 토큰(sink tokens)을 사용
-
🔗 GQA 최적화 (GQA Optimization) — 배치된 KV 로드를 사용하는 그룹화된 쿼리 어텐션(Grouped-Query Attention); 모델 설정에서 자동 감지
-
💾 메모리 매핑 KV 캐시 (Memory-Mapped KV Cache) — RAM이 고갈될 때 KV 캐시를 mmap을 통해 SSD로 스필(spill)하여 초장문 컨텍스트를 가능하게 함
-
⚡ 플래시 어텐션 (Flash Attention): 온라인 소프트맥스(online softmax)를 사용하는 메모리 효율적인 융합 어텐션 커널 (헤드당 O(1) 추가 메모리 사용)
-
📊 구조화된 벤치마크 스위트 (Structured Benchmark Suite): CI/CD를 위한 콜드/웜/스트리밍 시나리오가 포함된 JSON 내보내기 가능 벤치마크
-
🏥 상태 및 메트릭스 API (Health & Metrics API): 프로메테우스(Prometheus) 호환 출력을 갖춘 /health 및 /metrics 엔드포인트를 통한 운영 모니터링
-
📥 모델 다운로더 (Model Downloader): 재개 지원 기능을 갖춘 Hugging Face에서 GGUF 모델을 다운로드하는 ssd-llm pull 명령어
-
⚙️ 설정 파일 (Configuration File): 영구적인 설정을 위한 TOML 설정 파일 지원
-
🛑 우아한 종료 (Graceful Shutdown): 깔끔한 서버 종료를 위한 시그널 처리(SIGINT/SIGTERM)
-
🔧 CORS 지원 (CORS Support): 브라우저 기반 클라이언트를 위한 완전한 CORS 프리플라이트(preflight) 처리
-
📄 페이지드 어텐션 (PagedAttention): vLLM 스타일의 페이지드 KV 캐시: 온디맨드로 할당되는 고정 크기 블록, 빔 서치/병렬 샘플링을 위한 Copy-on-Write 기능, 거의 제로에 가까운 메모리 낭비, 시퀀스 포킹(sequence forking)
-
💾 SSD 블록 스와핑 (SSD Block Swapping): 메모리 압박 시 콜드(cold) KV 캐시 블록을 SSD로 자동 스왑아웃, LRU 기반 제거, 접근 시 투명한 스왑인, 프리페치 지원, 슬롯 재사용 기능이 있는 스왑 파일
-
🗜️ 양자화 블록 스와핑 (Quantized Block Swapping): SSD에 쓰기 전에 KV 캐시 블록을 INT8 단위로 행별(per-row) 양자화하여 I/O 대역폭을 약 4배 감소시키고 정확도 손실은 최소화하며, --swap-quantize를 통해 설정 가능
-
🧮 임베딩스 API (Embeddings API): RAG 파이프라인을 위한 L2 정규화 벡터를 갖춘 OpenAI 호환 /v1/embeddings 엔드포인트
-
📋 모델 목록 (Models Listing): 클라이언트 검색을 위한 OpenAI 호환 /v1/models 엔드포인트
-
🎭 채팅 템플릿 (Chat Templates): Llama 2, Llama 3, Mistral, Gemma, Phi-3, ChatML 및 원본 모드(raw mode)에 대한 자동 감지 형식 지정
-
🛑 정지 시퀀스 (Stop Sequences): 설정 가능한 정지 문자열을 통한 조기 생성 종료
-
🔁 반복 페널티 (Repetition Penalties): 반복적인 출력을 줄이기 위한 반복(repetition), 빈도(frequency), 존재(presence) 페널티
-
🔢 전체 K-양자화 계열 (Complete K-Quant Family): 모든 K-양자화(Q2_K, Q3_K, Q4_K, Q5_K, Q6_K, Q8_K)에 대한 GPU 가속 디양자화(dequantization)를 Metal 셰이더로 지원하며, CPU 폴백(fallback) 기능도 제공
-
🗜️ KV 캐시 양자화 (KV Cache Quantization) — 메모리 절감을 위한 INT8 퍼로우(per-row) 양자화된 KV 캐시를 사용하여 컨텍스트 창을 훨씬 길게 확장할 수 있습니다.
-
📐 RoPE 스케일링 (RoPE Scaling) — 훈련 길이 이상의 긴 컨텍스트 창 확장을 위해 선형(Linear), NTK 인식(NTK-aware), YaRN 스케일링 방법을 제공합니다.
-
🎲 Min-P 샘플링 (Min-P Sampling) — 모델 신뢰도에 따라 조정되는 확률 필터링으로, 품질과 다양성 간의 균형을 개선합니다.
-
✂️ 테일 프리 샘플링 (Tail-Free Sampling, TFS) — Top-p보다 더 깨끗한 분포를 얻기 위해 2차 미분 기반 테일 제거(tail removal) 방식을 사용합니다.
-
🎯 Mirostat v1 & v2 — 일관된 텍스트 생성을 유지하기 위해 목표 놀라움 수준을 유지하는 적응형 퍼플렉서티 제어 샘플링 방식입니다.
-
💬 대화형 채팅 (Interactive Chat) — 히스토리, 실행 취소(undo), 시스템 프롬프트 및 스트리밍 출력을 지원하는 다중 턴 대화용 ssd-llm chat 기능을 제공합니다.
-
📋 JSON 모드 (JSON Mode) — 문법 제약 생성(grammar-constrained generation)을 통해 유효한 JSON 출력을 보장하는 response_format: { type: "json_object" }를 지원합니다.
-
🔗 LoRA 어댑터 (LoRA Adapters) — 추론 시점에 GGUF 파일에서 LoRA 어댑터를 로드하며, 설정 가능한 스케일링과 여러 개의 동시 어댑터 사용을 지원합니다.
-
🛠️ 함수 호출 / 도구 사용 (Function Calling / Tool Use) — 함수 정의가 포함된 OpenAI 호환 tools 매개변수, tool_choice 제어, 병렬 도구 호출(parallel tool calls), 인자 유효성 검사 및 다중 턴 도구 결과 메시지를 지원합니다.
-
🧩 전문가 혼합 모델 (Mixture of Experts, MoE) — Mixtral 8x7B/8x22B와 같은 모델을 위한 희소 전문가 라우팅(Sparse expert routing): top-K 게이팅, SSD 친화적인 온디맨드 전문가 로딩, 배치 전문가 사전 선택, Metal 게이팅 셰이더를 구현합니다.
-
📝 GBNF 문법 제약 (GBNF Grammar Constraints) — 임의 구조화된 출력(SQL, XML, 사용자 정의 형식)을 위한 llama.cpp 호환 문법 제약 생성 기능을 제공합니다.
-
👁️ 비전/멀티모달 (Vision/Multimodal) — LLaVA 스타일의 이미지 이해를 위한 CLIP ViT 인코더, OpenAI 호환 image_url 콘텐츠 처리, Base64 및 URL 이미지 입력을 지원합니다.
-
🧬 I-Quant 지원 (I-Quant Support: IQ2_XXS, IQ2_XS, IQ3_XXS, IQ3_S, IQ4_NL, IQ4_XS) — 전통적인 K-양자화(K-quants)보다 높은 비트당 품질을 제공하는 그리드 조회 테이블 및 비선형 LUT를 사용한 중요도 행렬 양자화/역양자화를 지원합니다.
-
📊 Perplexity Evaluation — ssd-llm perplexity는 슬라이딩 윈도우 NLL(Negative Log Likelihood) 계산을 통해 모델 품질을 측정하며, 청크별 통계, CI/CD용 JSON 출력, 양자화 품질 비교를 지원합니다.
-
🧠 Adaptive Memory Pressure — host_statistics64를 통해 실시간 macOS VM 압력을 모니터링하고, 자동 캐시 예산 조정(100%→25%), 스마트 프리페치 스로틀링, 메모리 상태용 Prometheus 메트릭을 제공합니다.
-
🔗 Fused Residual + RMSNorm — 단일 GPU 디스패치는 잔차 연결(residual connection)에 RMSNorm 제곱 합 계산을 결합하여, 트랜스포머 레이어당 히든 스테이트에 대한 전체 메모리 패스를 하나 제거합니다.
-
🔢 BF16 & F16 Matvec — CPU와 Metal GPU에서 네이티브 BF16(brain float 16) 및 F16(IEEE 754 half) 행렬-벡터 곱셈을 지원하여, 역양자화 오버헤드 없이 양자화되지 않은 모델 가중치로부터 직접 추론할 수 있게 합니다.
-
📌 Adaptive Layer Pinning — 자동 핫 레이어 감지: 지수 감쇠(exponential decay)를 사용하여 레이어별 접근 빈도를 추적하고, RAM에 가장 많이 사용되는 N개의 레이어(예: 임베딩, 초기 어텐션)를 자동으로 고정합니다. --adaptive-pin N을 통해 설정 가능합니다.
-
📏 Criterion Benchmarks — 핵심 연산(softmax, matvec, RoPE, RMSNorm)에 대한 재현 가능한 마이크로 벤치마크를 제공합니다.
-
⚡ Fused RMSNorm + Output Projection — 단일 GPU 디스패치는 최종 레이어 정규화와 어휘(vocabulary) 투영을 결합하여, 중간 버퍼 할당과 생성된 토큰당 히든 스테이트에 대한 전체 메모리 패스를 하나 제거합니다.
-
🔗 Fused Post-Attention Residual + FFN Norm — 단일 논리 연산이 어텐션 잔차 연결과 FFN 입력 정규화를 결합하여, 레이어별 히든 스테이트 복사본 생성을 제거하고 트랜스포머 레이어당 2개의 메모리 패스를 줄입니다.
전통적인 LLM 추론(inference)은 전체 모델을 RAM에 로드합니다. ssd-llm은 다른 접근 방식을 취합니다:
빠른 SSD와 통합 메모리는 Mac에서 레이어 스트리밍의 오버헤드를 매우 낮춥니다.
추측 디코딩은 작은 '초안(draft)' 모델(예: 1B 파라미터)을 사용하여 후보 토큰을 제안하고, 이를 큰 타겟 모델로 검증하는 방식을 사용합니다. 이는 ssd-llm에 특히 효과적인데 그 이유는 다음과 같습니다: