NVIDIA의 Nemotron Omni는 오픈 웨이트 (open weights) 모델이며, 보고, 듣고, 추론할 수 있습니다. 이미 Hugging Face에 4bit MLX 양자화 (quant) 버전이 올라와 있지만, 표준 MLX 도구로는 텍스트 백본 (backbone)만 로드됩니다. 모델 카드에는 c-radio vit-h 및 parakeet conformer의 포워드 패스 (forward passes)를 구현하는 런타임 (runtime)이 비전 및 오디오 타워에 필요하다고 명시되어 있습니다. 그래서 저는 이를 순수 MLX로 작성했습니다. 비전 타워 (vision tower), 오디오 타워 (audio tower), 프로세서 (processor) 및 토큰 스플라이싱 (token splicing) 모두 NVIDIA의 레퍼런스 구현 (reference implementation)에서 포팅했습니다. 언어 모델을 위한 mlx-community 4bit 양자화 버전을 사용하며, 두 타워는 bf16으로 실행됩니다. 이것이 실제로 맞는지 추측하고 싶지 않았기에, 모든 구성 요소를 동일한 입력과 동일한 웨이트 (weights)를 사용하여 NVIDIA의 PyTorch 레퍼런스와 비교 테스트했습니다. 23개 중 23개 모두 통과했습니다. 오디오 타워 코사인 유사도 (cosine similarity)는 프레임당 최소 0.99999130, 비전 타워는 토큰당 최소 0.99996227이며, MLX CPU 스트림에서 비전 타워는 그래프 정확도 (graph exact) 1.0을 기록했습니다. 제 M5 Max에서 이미지가 있을 때 67.7 tok/s, 오디오가 있을 때 147 tok/s, 텍텍스트만 있을 때 152 tok/s의 속도를 보여줍니다. 테스트 내내 Wi-Fi는 꺼져 있었습니다. 스크린샷을 주면 읽고, 오디오 클립을 주면 듣습니다. 이 코드는 제 소유이며 MIT 라이선스를 따릅니다. https://github.com/nicedreamzapp/nemotron-omni-mlx 이미지 경로에서의 피크 메모리는 22.1GB였으므로 32GB Mac에는 들어갈 것입니다. 다만 제가 테스트할 수 있는 기기는 M5 Max뿐입니다. 더 낮은 사양에서 실행해 보신다면 어떤 결과가 나오는지 듣고 싶습니다. 오픈 웨이트를 공개한 NVIDIA와 4bit 변환을 해준 yayr에게 감사를 표합니다.