가장 비교해 보고 싶은 대상은 Gemma 4 12B의 4비트 QAT 버전임. 7GB가 채 안 돼 이 모델보다 조금 클 뿐이고, 웬만한 최신 기기에서 실행되면서 크기 대비 놀라울 정도로 똑똑함
도구 활용 능력이 뛰어나고 비전 성능도 크기에 비해 대단함. 정밀도를 한 단계씩 낮출 때 얼마나 많은 성능이 사라지는지 아직 파악 중이지만, Google의 QAT 버전들은 4비트에서 손실이 매우 적다는 걸 보여주는 듯함

공개된 수치를 Gemma 결과와 교차 비교하면, 이 모델은 수학과 코딩에서 Gemma 4 12B를 크게 앞서고 지식과 도구 호출은 약간 뒤처지며 비전 작업은 상당히 떨어짐

Gemma 4 12B의 1비트 이진 버전도 만들어 주면 좋겠음 ;)

많은 모델 계열에서 4비트가 경계점이지만, 가중치·가중치와 활성값·KV 캐시 중 무엇을 4비트로 양자화하는지에 따라 달라짐. 모델 크기와 작업에도 좌우되므로 양자화에는 생각보다 미묘한 부분이 많음
2024년에 나온 좋은 평가 자료는 https://arxiv.org/pdf/2402.18158임. 원저자는 아니지만 현재 갱신판을 준비하고 있으며, 아직 본격적인 문헌 조사를 하지 않아 비슷한 조사 자료를 알고 있는지 궁금함

투자자 관점에서는 진정한 패러다임 전환임. 프라이버시를 내세우며 대형 호스팅 모델을 감싸 제공하던 유럽 스타트업들이 대거 사라질 수 있음
모든 것을 노트북에서 직접 실행할 수 있다면 ‘Privacy GPT™’ 같은 업체를 이용할 이유가 전혀 없음. 은행이나 다른 규제 산업도 이 정도 지능을 자체 호스팅할 수 있으므로 그런 업체에 의존할 필요가 없어짐

이해하는 데 도움이 필요함. 여기서 핵심은 양자화를 통해 50GB를 4GB로 줄이면서 파레토 최적 범위 안에서 지능을 대부분 보존한 것이고, 다른 양자화 모델과 크기 대비 지능을 비교한 것으로 이해했음. 다만 다른 소형 모델에서도 문제가 되는 도구 호출 성능이 가장 크게 손상된 듯함
이 모델은 최근의 다른 4GB 모델과 비교해 어떤가? 부모 모델의 지능을 실제로 보존한 것인지, 벤치마크에 맞춰 미세 조정한 것인지 어떻게 알 수 있나?
깎아내리려는 게 아니라 정말 놀라운 결과였으면 좋겠지만, 제한된 지식으로 보기에는 공정한 비교 그래프가 빠졌고 기존 그래프도 오해를 부를 수 있어 보임. 내가 잘못 이해한 부분을 설명해 주면 좋겠음

PrismML은 보통처럼 FP16으로 학습한 모델의 비트를 잘라 VRAM을 줄이는 양자화를 하는 게 아니라, 처음부터 1비트 가중치로 학습하는 것으로 이해했음
기사에 더 자세히 나와 있으며, 1비트 가중치 128개 블록마다 FP16 가중치 하나를 두는 등의 기법으로 더 많은 정보를 담음

이 내용은 PrismML CEO Babak Hassibi가 CNBC에 직접 말한 것이므로, 거짓말이거나 협상 소식을 흘려서 관계 성사 가능성을 스스로 끝낸 것일 수 있음

사소한 흠잡기일 수 있지만, 시연에서 모델이 제안한 요리는 별로 맛있어 보이지 않고 다량영양소 계산도 완전히 틀린 듯함. ‘스파게티, 당근, 피망, 마늘, 허브’에 단백질 25g이라니?

좋은 스파게티는 단백질 비율이 15%, 즉 100g당 15g이고 가장 저품질인 제품도 100g당 12g은 들어 있음

개인적으로 당근을 별로 좋아하지 않지만 맛없어 보이지는 않음. 토마토소스가 있으면 훨씬 낫겠지만, 제공된 이미지에는 선택지로 없었던 듯함
단백질 25g은 병아리콩 같은 고단백 파스타라고 가정한 걸지도 모르지만, 확실히 잘못된 수치로 보임

스파게티 200g에는 실제로 단백질이 약 25g 들어 있음

왜 이렇게 평범한 질문을 휴대폰의 AI로 처리해야 하는지 모르겠음. 이런 일에는 AI는커녕 로컬 AI도 필요 없고, 예전부터 기본적인 Google 검색으로 충분했음
휴대폰 크기의 AI가 유용하려면 AI만 할 수 있는 작업을 처리해야 함. 휴대폰 카메라로 스캔한 문서를 받아들일 수 있나? 실시간 번역을 할 수 있나? 레시피 조언은 이미 다른 수단으로 넘치도록 해결돼 있어 굳이 물어볼 이유가 없음

모델은 Hugging Face의 https://huggingface.co/prism-ml/models에 올라오고 있음
LM Studio에서 GGUF와 MLX 모델을 각각 시도했지만 둘 다 작동하지 않았음. LM Studio가 먼저 llama.cpp나 MLX 엔진을 업그레이드해야 할 수도 있는데, 실행에 성공한 사람이 있는지 궁금함

이전 모델은 PrismML의 llama.cpp 커스텀 포크인 https://github.com/PrismML-Eng/llama.cpp에서 실행했음. 이번 모델은 아직 시도하지 않았지만 이번 주 중 시간을 내 벤치마크할 예정임
메인라인 llama.cpp에도 Metal과 CPU 백엔드용 패치가 들어갔다고 하므로, Mac이나 충분히 빠른 CPU와 메모리가 있다면 최신 llama.cpp만 사용해도 될 듯함

PrismML의 llama.cpp 포크를 LM Studio 안에서 실행할 방법이 있는지는 모르겠음
포크 자체는 잘 실행되지만 간단한 테스트 하나에서 모델이 추론 반복에 심하게 빠졌음. 추론 강도를 높게 설정할 때 생기는 동일한 문제일 수도 있음
M1 Max에서는 여전히 MoE Qwen 3.6과 Gemma 4가 가장 나은 선택으로 보임. 35B가 실제로 더 나쁘다는 주장에도 확신이 없으며, 내 사용 환경에서는 27B보다 추론 반복에 훨씬 덜 빠짐

LM Studio에서 공식 모델 두 개를 받았고 둘 다 3.6GB였지만 어느 것도 불러오지 못했음

Unsloth에서도 작동하지 않았지만, 다음 업데이트 묶음이 나오면 하루나 이틀 안에 수정될 가능성이 큼

1비트 모델로 성능 90% 를 달성한 건 우선 경이로운 결과임
하지만 지난 2주 동안 이것이 벌써 다섯 번째 제품 발표이며, 하나같이 AI 활용 방식이 바뀌고 있고 각자의 절충안이 완벽한 해답이라고 선언함. 패러다임 전환은 제품 출시 발표문에서 일어나지 않음
모든 출시 글을 패러다임 전환처럼 들리게 만드는 건 일종의 AI 특유 문체가 아닐까 싶음

모든 기술 발표가 마찬가지임. 현실과 무관하게 마케팅 담당자는 마케팅을 할 뿐임

전체 문맥 길이에서도 KV 캐시 메모리 사용량이 놀라울 정도로 적어 보임. 덕분에 다중 에이전트 코딩 작업 흐름에 특히 유용할 수 있음
새 모델 발표와 시연에서 KV 캐시 메모리 사용량과 관련 최적화를 더 명확히 다뤄주면 좋겠음

KV 캐시를 양자화하면 어텐션과 회상 성능이 나빠지고, 그 영향으로 장문 작업도 손상됨. 모델 계열과 크기마다 각 부분의 양자화를 견디는 정도가 다르고 목표 작업에 따라서도 달라짐

오늘 알게 된 사실: 1비트 모델은 실제로 +1, 0, -1의 세 값을 사용하는 1.58비트 모델임

여기에는 두 가지 변형이 있음. 농담처럼 말하자면 비트의 값을 아주 크게 잡은 셈임
Ternary Bonsai 27B는 삼진 {-1, 0, +1} 가중치와 FP16 그룹별 스케일링을 사용해 가중치당 실효 비트가 1.71비트임. 1-bit Bonsai 27B는 이진 {-1, +1} 가중치와 같은 그룹별 스케일링을 사용해 가중치당 실효 비트가 1.125비트임

3상태 숫자 5개를 1바이트에 넣는 가장 실용적인 방식으로 계산하면 1.6비트임. 하지만 실제로는 보통 4상태 숫자 4개를 묶음

최초의 ‘1비트’ 모델에서 시작된 아쉬운 관례임. 다만 Bonsai에는 삼진 버전과 실제 1비트 버전이 모두 있음