이곳은 추론 칩 (inference chip)에 올인하고 있는 한국 스타트업입니다: https://furiosa.ai/renegade-spec TSMC 5nm 공정, Hynix HBM3 1.5TB/s, 48GB VRAM, TDP 180W. 이미 LG LLM에서 테스트되었습니다. 만약 이들이 NVIDIA가 PTX를 공개하고 Intel이 SPIR-V를 공개하는 방식처럼 프로그래밍 인터페이스를 공개하고, GGML 백엔드 (backend)가 작동할 수 있도록 llama.cpp와 협력한다면, 이는 게임 체인저가 될 것입니다. 현재 Rtx pro 5000 48gb (non-hbm)는 5,000달러입니다. AMD의 r9700 32gb는 1,300달러, Intel B70 32gb는 1,000달러입니다. 저는 이들의 RNGD 칩이 그 정도의 메모리 대역폭 (memory BW), VRAM, 그리고 TDP를 갖추고 적절한 가격에 출시된다면, 이 속도로 기록적인 판매를 달성할 것이라고 확신합니다. 만약 이들이 AMD의 Vulkan에서처럼 llama.cpp를 실행할 수 있게 된다면, 카드 한 장에 2,500달러라도 저는 당장 구매할 것입니다. 설령 Intel B70 SYCL 백엔드처럼 작동하여 이론적 토큰 생성 (TG) 속도의 40%만 나온다 하더라도 말이죠. 그것조차 AMD Vulkan TG보다는 나을 것입니다. 수정: 이들은 소비자 시장에 판매하고 있지 않습니다. 저는 그들이 그렇게 하기를 바라고 있습니다. 왜냐하면 그것이 로컬 LLM에 게임 체인저가 될 것이기 때문입니다.