안녕하세요 여러분, 제 컴퓨터가 로컬 추론 (local inference)을 하기에 아주 강력한 사양은 아닙니다. 그래서 몇 주 전부터 연구소들이 추론 성능을 향상시키기 위해 사용하는 몇 가지 기술들에 대해 조사하기 시작했고, 한 가지 직감이 들었습니다. "확산 모델 (diffusion models)은 토큰 대신 캔버스 상에서 동작하기 때문에, 삼진 양자화 (ternary quantization)를 처리하는 데 더 유리하지 않을까?" 그래서 저는 단일 RTX 2080 Super를 사용하여 사전 등록된 임계값을 바탕으로 극한의 양자화 (bonsai-like) 환경에서 확산 모델과 자기회귀 (Autoregressive, AR) 언어 모델을 비교하는 테스트를 수행했습니다.

주요 결과:

130M, INT4 사후 양자화 (Post-training quantization)
FP16 대비 상대적 성능 저하:

• PTB: AR +31.81%, dLLM +20.85%
• Wikitext-103: AR +26.84%, dLLM +11.59%
• LAMBADA: AR +24.77%, dLLM +9.02%
  dLLM의 이점은 세 가지 데이터셋 전체에서 10.97~15.74 퍼센트 포인트였습니다.
  별도의 64개 샘플 생성 평가에서도 유사한 결과가 나왔습니다:
• AR 생성 퍼플렉시티 (perplexity): +96.2%
• dLLM 생성 퍼플렉시티 (perplexity): +45.4%

7M, 네이티브 삼진 양자화 인식 훈련 (Ternary quantization-aware training)
세 가지 일치하는 시드 (seed) 기준:

• AR 성능 저하: +18.41%, +30.71%, +16.12%
• dLLM 성능 저하: +5.19%, +15.43%, +4.23%
• dLLM/AR 격차 비율 (gap ratio): 0.888, 0.883, 0.898
  격차 비율에 대한 상위 95% 신뢰 구간 상한선은 0.908로, 사전 등록된 "추가적인 dLLM 삼진 세금 없음" 임계값인 1.25를 통과했습니다. 하지만 더 우수한 삼진 내성 (ternary tolerance)을 주장하기 위해 필요한 더 강력한 임계값인 0.80은 통과하지 못했습니다.

이 결과는 130M 사후 양자화 (post-training quantization) 및 7M 네이티브 양자화 인식 훈련 (QAT)에 국한됩니다. dLLM 가능도 (likelihood) 값은 NELBO 기반의 퍼플렉시티 (perplexity) 경계값이므로, 절대적인 AR 및 dLLM 퍼플렉시티를 직접 비교해서는 안 됩니다.

Repository & Artifacts: 모든 설정(configs), 가공되지 않은 평가 결과(raw evaluation outputs), 체크포인트 해시(checkpoint hashes), 알려진 주의사항(known caveats) 및 재현 노트(replication notes)는 이곳에서 공개되어 있습니다: https://github.com/wfzyx/diffusal 만약 이를 재현하거나 더 강력한 하드웨어에서 규모를 확장(scale up)하고 싶다면, 모든 것이 즉시 사용 가능한(plug and play) 상태로 준비되어 있을 것입니다. 루프 모델(looped models)이나 생성된 토큰을 모델이 다시 반영(reflect)하여 유사한 결과를 생성하게 하는 기타 기술들을 사용할 경우에도 매우 높은 확률로 유사한 결과가 나올 수 있지만, 저는 특히 확산 모델(diffusion models)에 관심을 가졌습니다. 기술적 비판과 재현 시도는 언제나 환영합니다. 면책 조항(Disclaimer): 저는 학술적 배경(석사)을 가지고 있지만, LLM 연구는 독학하였으며 이 프로젝트는 AI의 도움을 받았으므로 예상치 못한 문제가 포함되어 있을 수 있습니다. Shameless Plug: 저는 현재 ML 엔지니어링/연구 직무나 협업 연구 파트너십을 적극적으로 찾고 있습니다 (특히 컴퓨팅 자원을 보유하고 있으며 이와 같은 실험을 확장하고 싶은 경우). 만약 저와 유사한 작업을 하고 있으며 협업자가 필요하다면, 언제든지 연락해 주세요! /u/wFXx 제출 [link] [comments]