128GB 통합 메모리와 AMD Ryzen AI Max+ 395를 쓸 수 있는데, 아직 충분히 활용하지 못하는 느낌임. 지금까지 구성한 것 중 가장 나은 조합은 qwen flash next와 halogen-server임.
이보다 더 뛰어난 모델을 실행할 수 있는지, 가능하다면 어떻게 해야 하는지 알고 싶음!
영상에서는 입력 토큰 43개 처리에 약 4초가 걸리는 것으로 보임. 코딩 에이전트는 구현 없이 코드만 탐색해도 상당한 토큰을 소비하는데, 이 정도면 쓸 만한 속도와는 거리가 멀어 보임. 작은 파일 하나가 500토큰이라고 해도 처리에만 약 1분이 걸리지 않을까? 프리필 초당 300토큰은 영상이나 Twitter 답글 어디에서도 찾지 못했는데, 해당 부분의 링크를 줄 수 있을까? 혹시 이미 캐시된 문맥을 사용한 결과인가?
강한 양자화를 적용할 때는 성능 변화가 비선형적이며, 대체로 크기 대비 성능은 4비트에서 정점에 이르고 그 아래에서는 성능이 크게 떨어진다는 실증 결과를 염두에 둬야 함.
지난 2년간 음성 모델을 다뤄봤는데, 내 경우 8비트 미만에서는 품질이 크게 떨어졌음. LLM과 다른 모달리티 특화 모델의 양자화를 동일하게 취급할 수는 없음.
근거는 TUM의 「Reliability Scaling Laws for Quantized Large Language Models」임. https://arxiv.org/pdf/2607.10855.
첫 문장은 연결된 논문이 실제로 입증한 범위보다 단정적임. 해당 결과는 특정 알고리즘·방법론·모델에 한정됨.
논문은 양자화 인지 학습(QAT) 을 연구 범위에서 명시적으로 제외하며, QAT에서는 다른 경향이 나타날 수 있고 극단적인 양자화도 가능할 수 있다고 밝힘. 요즘 공개되는 강하게 양자화된 모델은 대체로 QAT나 유사한 기법을 쓰므로, 이 논문을 최신 양자화 모델 전체에 적용하기는 어려움. 예시는 https://huggingface.co/vcruz305/DSV4.1-Flash-1017-SAGE-REXL3...에서 확인 가능함.
다만 본문 프로젝트가 그런 기법을 사용했다는 근거는 보이지 않으므로, 여기에는 논문의 결과가 상당히 잘 들어맞을 수도 있음.
오디오에서는 비선형성 때문에 양자화에 따른 품질 손실이 쉽게 드러나는 것 아닐까 싶음. LLM은 벤치마크 점수 최적화가 워낙 깊이 자리 잡아서, 양자화해도 벤치마크에서는 잘 나오지만 실제 품질은 오디오처럼 떨어질 수 있음. 다만 그 저하가 매번 노골적으로 드러나지 않을 뿐이라고 봄.
예상치 못한 방향에서 나온 인상적인 성과임. 이 시스템에서 qwen을 직접 돌려보는 것이 기대됨.
몇 비트 양자화인지가 가장 궁금함. 다시 보니 2비트인 것 같은데, 그렇다면 출력 품질을 확인해 보고 싶음. 그리 좋지는 않을 듯함.
4~5비트 미만은 정말 품질이 나쁨.
나도 혼란스러운데, 부실한 README는 전혀 도움이 안 됨. DeepSeek-V4-Flash를 76.87GiB에서 56.56GiB로 줄였다며 원래 크기로는 64GB Linux에서 메모리 부족으로 종료된다고 적혀 있고, 뒤에서는 76.87GiB를 패치하지 않은 표준 IQ2_XXS라고 부름.
그런데 Unsloth의 IQ2_XXS GGUF는 91GB이고, 가장 작은 IQ1_S조차 82.5GB임. 도대체 어느 모델과 양자화를 기준으로 한 수치인지 모르겠음. “압축”과 “MoE 가지치기”라는 표현을 보면 Unsloth의 IQ1 양자화보다 능력을 더 훼손한 것처럼 느껴짐.
Reddit에는 “내 전등 스위치에서 초당 몇 토큰” 같은 호들갑스러운 제목이 넘쳐남. 늘 가중치당 4비트 미만 양자화이고, 대부분 쓸모가 없음.
AI 분야에 입문한 지 얼마 안 됐는데, 이번에는 본문보다 HN 댓글에서 더 많이 배웠음. 앞으로 모델을 평가할 때 양자화도 살펴봐야겠음.
Strata, Project Maya, Ampere 카드의 메모리 병목 작업에서 FP8로 3배 가속한 것에 이어 이제 llama-mod chip까지 나왔음. 이런 최적화와 틀을 벗어난 접근이 놀라움. 계속 이어가 주길 바람!
GitHub README에서 AI가 남발한 이모지를 좀 정리해 주면 좋겠음. 가독성이 너무 나쁨.
최근 deepseek v4 flash 0731을 꽤 오래 사용하다가 glm 5.3-flash, v4.1 flash 1017 등 더 뛰어난 모델로 넘어갔는데, 저 크기에서 좋은 품질을 얻는다는 주장은 도무지 믿기 어려움. 어떤 축소 기법을 썼든 Unsloth Q2XS나 그에 준하는 양자화보다 품질이 나빠질 것임.
그 규모의 모델을 KV 캐시 양자화 없이, 학습한 정보를 대거 버리지 않고 제대로 실행하려면 RAM 약 150GB는 필요함. 상당히 큰 모델을 터무니없이 작은 크기로 실행한다는 주장에는 여전히 매우 회의적임.
비교하자면 일반적인 v4 flash 0731의 파일 크기는 여기서 확인 가능함. https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF.
97GB Q2XS조차 전체 정밀도 모델과 상당히 다른 결과를 보임. 실행했다는 사실만 내세우려고 능력을 크게 훼손한 모델을 돌리는 건 특별한 성과가 아님.
Readme.md가 질 낮은 AI 생성 내용으로 가득해 읽기 거북함. llama.cpp를 감싼 도구인데, 어떤 플랫폼을 전제로 하는지 알 수 없어 직접 시험해 볼 가치가 있는지 판단하기 어려움.