같은 모델의 다른 양자화(quantization) 간에는 무엇이 다를까요? 그리고 만약 그것들이 실제로 무엇을 차별화하는지 볼 수 있다면 어떨까요?
이 질문에 답하기 위해, 저는 inside-llm이라는 작은 프로젝트를 만들었습니다. 이것은 오픈 소스 도구로, llama.cpp를 사용하여 하나 또는 두 개의 GGUF 모델을 로드하고, 브라우저에서 모델이 텍스트를 생성하는 동안 무엇을 하는지 보여줍니다.
제공 기능:
- Stream (스트림): 텍스트가 표시되며, 모델별로 한 열씩 구성됩니다. 밝기(brightness)는 각 토큰의 확률을 나타냅니다. A와 B가 다르게 선택할 경우 마젠타색 표시를 합니다. 두 가지 모드가 있습니다: lockstep(두 모델이 동일한 텍스트를 읽으므로 위치별 깨끗한 비교가 가능함)과 free(각 모델이 분기할 때까지 자체적인 선택을 따름).
- Candidates (후보): 각 선택 뒤에 숨겨진 전체 분포, A와 B의 미러링된 막대 그래프, 엔트로피(entropy), 유효 옵션 수(effective number of options), 양방향의 Jensen-Shannon divergence 및 KL 다이버전스.
- Gates (게이트): 샘플러 체인(sampler chain) (페널티(penalties), top-k, top-p, min-p, temperature, GBNF grammar)을 단계별로 추적하며 매우 시각적으로 보여줍니다. 각 단계를 통과하는 후보의 수와 그 이후의 분포를 확인할 수 있습니다. 체인 순서(Chain order)와 시드(seed)는 설정 가능합니다.
- Timeline (타임라인): A와 B의 엔트로피 및 전체 텍스트에 걸친 분기 정도, 그리고 브랜치들의 트리 구조가 표시됩니다.
- Branching (분기): 임의의 후보를 클릭하면 그 지점부터 생성이 계속됩니다. 모든 브랜치는 트리에 남아 있으며, 노드로 되돌아가는 것은 정확합니다(각 모델은 KV-state 스냅샷을 유지하므로 아무것도 재생성되지 않습니다).
- Logit lens (--lens): 각 레이어가 무엇을 예측할지 2D 지도와 3D 지형으로 보여줍니다.
- Model picker (모델 선택기): 폴더에서 A와 B를 선택하거나 Hugging Face에서 검색하여 레포지토리의 두 양자화 모델을 한 번의 클릭으로 쉽게 다운로드할 수 있습니다. 이 도구는 A와 동일한 토크나이저(tokenizer)를 가진 B 모델만 제공하며, 해당 쌍이 VRAM에 들어맞는지 추정합니다.
작동 방식:
C++17 프로세스 하나가 llama.cpp와 직접 연결됩니다 (현재 안정화 버전 사용). 매 단계마다 A의 전체 로짓(logits) (그리고 동일한 컨텍스트에서의 B의 로짓)을 읽고, 메트릭과 샘플러 체인을 계산하며, 자체 시드를 가진 샘플러로 토큰을 그립니다. 따라서 실행 결과가 재현 가능합니다.
WebSocket을 통해 Svelte 5와 Canvas 2D 페이지로 압축된 이진 프레임을 전송합니다 (3D 리리프는 three.js만 사용하며, 지연 로딩됩니다). 웹 콘텐츠 자체도 바이너리에 포함되어 있습니다. 동일한 프레임 스트림은 압축되어 기록된 세션이 되며, 이를 엔진, 모델, GPU가 없는 정적 페이지에서 나중에 재현할 수 있습니다. Linux (glibc 2.35 이상) 및 Windows용 자립형 패키지로 제공되며, CUDA 또는 Vulkan을 지원합니다 (Vulkan은 AMD, Intel Arc, NVIDIA를 모두 포괄합니다). 압축 해제 후 실행하면 모델 선택기(model picker)와 함께 브라우저가 열립니다. 또는 다음 명령어를 사용합니다: inside-llm -a A.gguf -b B.gguf . 로컬 전용으로 127.0.0.1에서 수신하며, 계정이나 원격 측정 기능이 없습니다. MIT 라이선스입니다. 클릭 한 번으로 다운로드하고, 클릭 한 번으로 실행할 수 있습니다.
제한 사항 (솔직한 목록):
- A와 B는 토크나이저(tokenizer)를 공유해야 합니다 (두 개의 양자화 버전, 기본 모델 + 미세 조정, 또는 동일 계열의 크기). 예시: Qwen3.5-0.8B_Q4_K_M과 Qwen3.5-0.8B_Q8_0
- 두 모델 모두 VRAM에 동시에 적재되어야 합니다. 한 번에 하나의 GPU만 사용됩니다. 통합형 GPU(iGPU)는 절대 사용되지 않으며, 전용 GPU가 없는 경우 프로세스는 CPU로 폴백(fallback)합니다 (이 경우 속도가 느립니다). (VRAM에 두 모델이 모두 들어오는지 확인하려면 로드하기 전에 크기를 계산해야 합니다)
- 텍스트만 지원하며, 분할된(multi-part) GGUF나 임베딩 모델은 지원하지 않습니다.
링크:
코드 + 릴리스: https://github.com/manuelgscom/inside-llm
프로젝트 페이지: https://manuelgs.com/en/inside-llm/
피드백을 환영합니다. 특히 다음 사항에 대한 의견이 궁금합니다: 어떤 쌍(imatrix vs non-imatrix, base vs abliterated/fine-tune, Unsloth UD vs standard quants 등)부터 비교해 보시겠습니까? 그리고 현재 없는 위치별 측정 지표가 있습니까?
제출자: /u/AlternativeEnough352 [링크] [댓글]