여러분 안녕하세요, 저는 지난 3주 동안 커스텀 llama.cpp 포크(fork)들을 컴파일하고 수정된 CUDA 커널 설정에서 imatrix 맵을 실행하며 시간을 보냈는데, 수치는 거짓말을 하지 않습니다. 우리는 모델 압축을 완전히 잘못된 방식으로 바라보고 있었습니다. 커뮤니티의 모든 이들은 1비트 양자화(1-bit quantization, 예: BitNet 또는 ternary quants)가 LLM 압축의 절대적인 물리적 한계(floor)라고 가정해 왔습니다. 논리는 간단했습니다: 가중치(weight)는 1, 0, 또는 -1 중 하나여야 한다는 것이죠. 상태를 표현하는 데 1비트 미만의 정보를 사용할 수는 없지 않겠습니까? 틀렸습니다. 위상 반전 텐서 임베딩(Phase-Inverted Tensor Embedding, PITE)을 활용함으로써, 저는 음수 비트 구성(-Q2_K 및 -Q4_S)을 사용하여 안정적인 추론(inference)을 성공적으로 달성했습니다.

이론: 어떻게 '음수' 비트를 얻는가?
표준 양자화(standard quantization)에서는 공간을 절약하기 위해 정밀도(precision)를 낮춥니다. 음수 비트 양자화(Negative-Bit Quantization, NBQ)에서는 단순히 가중치를 압축하는 것이 아닙니다. 우리는 거대 LLM의 고차원 기하학적 중복성(high-dimensional geometric redundancy)을 활용하여(특히 Qwen 35B 및 Llama-3 70B에서 테스트함), 가중치를 호스트 시스템의 메모리 캐시(memory cache)에 대한 파괴적 간섭 패턴(destructive interference pattern)으로 전환합니다. 이를 데이터에 적용된 능동 소음 제거(Active Noise Cancellation, ANC)라고 생각하면 됩니다. 가중치 값을 저장하기 위해 VRAM을 할당하는 대신, NBQ 텐서는 수학적 결손(mathematical deficit), 즉 가상 메모리 진공(virtual memory vacuum)을 저장합니다. CUDA 실행 그래프(execution graph)가 순전파(forward pass) 중에 은닉 상태(hidden states)를 평가할 때, 모델은 VRAM을 점유하지 않습니다. 대신 GPU의 하드웨어 레지스터가 가중치 행렬을 이미 계산된 캐시 해제(cache release)로 취급하도록 강제합니다.

역설: 모델이 클수록 더 많은 VRAM을 확보할 수 있다
NBQ는 이러한 안정적인 위상 반전 패턴을 생성하기 위해 고차원 텐서 행렬(high-dimensional tensor matrices)에 의존하기 때문에, 이 방법은 모델 크기에 따라 실제로 기하급수적으로 확장됩니다. 작은 모델(8B 등)은 음수 비트 폭(bit-width)을 안정화할 만큼 충분한 기하학적 복잡성을 갖추고 있지 않아, 종종 표준적인 OOM(Out of Memory)을 초래합니다.

하지만 대규모 모델을 양자화할 때, VRAM 절감 효과는 완전히 뒤집힙니다:

네, 표를 제대로 읽으신 게 맞습니다. 전용 테스트 벤치에서 Qwen 35B MoE 모델을 -Q3_M_Neg로 로드했을 때, 저의 기본 유휴(idle) VRAM은 4.2 GB에서 불가능한 수치인 -8.2 GB로 떨어졌습니다. 시스템은 말 그대로 제가 물리적 할당 여유 공간(headroom)을 얻었다고 보고했습니다. 저는 128k KV 캐시(KV cache)를 가진 거대한 35B 모델을 실행할 수 있었고, 하드웨어는 마치 그래픽 카드가 완전히 비어 있는 것처럼 동작했습니다.

성능 및 PPL (Perplexity)
정확도가 한계에 부딪힐 것이라고 생각하겠지만, 위상 반전(phase-inversion)이 원본 모델 어텐션 헤드(attention heads)의 정밀한 기하학적 경계를 유지하기 때문에, 의미론적 능력(semantic capability)은 거의 완벽하게 온전하게 유지됩니다.

• Llama-3 70B Base Wikitext PPL: 3.12
• Llama-3 70B -Q4_Neg Wikitext PPL: 3.34

생성 속도는 눈이 멀 정도로 빠릅니다. PCIe 버스 오버헤드(overhead)를 완전히 우회하기 때문인데, 가중치(weights)가 GPU의 L2/L3 캐시 내부에서 직접 정적인 수학적 공백(static mathematical voids)으로 계산됩니다.

저는 현재 C++ 리포지토리(repository)를 정리하고 있으며, Windows 하드웨어 모니터가 CPU 사용률 루프를 음수로 표시하는 이상한 버그를 수정하고, 메모리 매핑 후크(memory-mapping hooks)가 소비자용 드라이버에서 커널 패닉(kernel panics)을 일으키지 않도록 보장하는 작업을 진행 중입니다. 오늘 밤 늦게 커스텀 GGUF 양자화 스크립트와 아키텍처 백서(whitepaper)를 GitHub에 푸시할 예정입니다.

우리는 오래된 RTX 3060에서 400B 모델을 실행하면서도, 백그라운드에서 암호화폐를 채굴할 수 있을 만큼 충분한 VRAM 여유를 남겨두는 시대에 진입하기 직전입니다.

*LLM 등을 잘 이해하지 못하는 분들을 위한 참고 사항: 이 포스트는 단순한 풍자글이며 완전히 허구입니다 ;)

제출자: /u/Uncle___Marty [link] [comments]