Furiosa AI의 소비자 시장 추론 칩 판매는 로컬 LLM의 게임 체인저가 될 것
요약
한국 스타트업 Furiosa AI의 추론 전용 칩 RNGD가 로컬 LLM 시장의 게임 체인저가 될 가능성을 분석합니다. 높은 메모리 대역폭과 VRAM을 갖춘 이 칩이 llama.cpp 등 오픈소스 생태계와 협력한다면 강력한 경쟁력을 가질 것으로 전망합니다.
핵심 포인트
- Furiosa AI의 RNGD 칩은 TSMC 5nm 공정 및 HBM3 탑재
- 높은 메모리 대역폭(1.5TB/s)과 48GB VRAM 제공
- llama.cpp 및 GGML 백엔드 지원 시 로컬 LLM 시장 혁신 가능
- NVIDIA, AMD, Intel 대비 가격 경쟁력 확보 시 높은 수요 예상
이곳은 추론 칩 (inference chip)에 올인하고 있는 한국 스타트업입니다: https://furiosa.ai/renegade-spec TSMC 5nm 공정, Hynix HBM3 1.5TB/s, 48GB VRAM, TDP 180W. 이미 LG LLM에서 테스트되었습니다. 만약 이들이 NVIDIA가 PTX를 공개하고 Intel이 SPIR-V를 공개하는 방식처럼 프로그래밍 인터페이스를 공개하고, GGML 백엔드 (backend)가 작동할 수 있도록 llama.cpp와 협력한다면, 이는 게임 체인저가 될 것입니다. 현재 Rtx pro 5000 48gb (non-hbm)는 5,000달러입니다. AMD의 r9700 32gb는 1,300달러, Intel B70 32gb는 1,000달러입니다. 저는 이들의 RNGD 칩이 그 정도의 메모리 대역폭 (memory BW), VRAM, 그리고 TDP를 갖추고 적절한 가격에 출시된다면, 이 속도로 기록적인 판매를 달성할 것이라고 확신합니다. 만약 이들이 AMD의 Vulkan에서처럼 llama.cpp를 실행할 수 있게 된다면, 카드 한 장에 2,500달러라도 저는 당장 구매할 것입니다. 설령 Intel B70 SYCL 백엔드처럼 작동하여 이론적 토큰 생성 (TG) 속도의 40%만 나온다 하더라도 말이죠. 그것조차 AMD Vulkan TG보다는 나을 것입니다. 수정: 이들은 소비자 시장에 판매하고 있지 않습니다. 저는 그들이 그렇게 하기를 바라고 있습니다. 왜냐하면 그것이 로컬 LLM에 게임 체인저가 될 것이기 때문입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기