여러분 안녕하세요,
로컬 환경에서 제대로 된 사이드 바이 사이드 (side-by-side) 벤치마크를 실행했습니다: DiffusionGemma 26B-A4B vs Gemma 4 26B-A4B, 둘 다 NVFP4이며, 단일 RTX PRO 6000 Blackwell 상의 Docker 내 vLLM을 통해 서빙되었습니다.
실행 방법: 두 모델을 --gpu-memory-utilization 0.42로 동시에 서빙하여 간섭 없이 동일한 GPU를 공유하도록 했습니다. 재현성을 위해 고정된 시드 (Fixed seed, 1234)를 사용하였고, 실행당 최대 29k 토큰까지 처리하며 결과는 자동으로 CSV에 저장되었습니다. 설계상 KV 캐시 (KV cache) 영향을 최소화하려고 노력했지만, 이것이 단일 사용자 로컬 설정이라는 점은 주목할 가치가 있습니다. 바로 이 지점에서 디퓨전 (diffusion) 아키텍처의 이점이 드러납니다. 배치 (batched) 사용자가 있는 클라우드 환경에서는 여전히 자기회귀 (autoregressive) 방식이 더 나은 선택입니다. 저는 동일한 GPU를 사용하기 때문에 제 장비 하나에서 이들을 실행합니다.
주의할 점: 벤치마크 점수가 표준 Gemma 4보다 낮습니다. 이는 단순한 각주가 아닌 실제적인 트레이드오프 (trade-off)입니다. 흥미로운 지점은 이러한 처리량 (throughput)이 실제로 필요한 특정 반복 작업에 대해 미세 조정 (fine-tuning)을 하는 경우입니다. Unsloth는 이미 타겟팅된 학습 데이터를 통해 스도쿠 (Sudoku)에서 0%에서 80%로 성능을 올리는 것을 보여주었습니다. 잘 정의된 반복 작업과 좋은 데이터가 있다면, 이 아키텍처는 진지하게 고려하고 미세 조정할 가치가 있다고 생각합니다. 혹시 시도해 보신 분 계신가요?