AMD Strix Halo 소유자를 위한 중요한 소식

솔직히 저에게는 새로운 소식이지만, 이곳의 다른 분들에게도 도움이 되기를 바랍니다!

드디어 NPU를 사용할 수 있습니다!!
저는 AMD Ryzen 395 Max AI+(정확한 명칭은 모르겠지만요 ㅎㅎ)를 약 1년 동안 소유해 왔으며, 오로지 GGUF와 Vulkan에만 의존해 왔습니다. AMD Ryzen AI 팀이 하드웨어 속도에 맞춰 ROCm 소프트웨어를 개선하기 위해 열심히 노력하고 있다는 점을 인정합니다.
https://kyuz0.github.io/amd-strix-halo-toolboxes/
이 데이터베이스는 6개월 전만 해도 ROCm 친화적으로 보이지 않았습니다.

왜 이게 중요할까요?
만약 여러분이 NPU와 iGPU를 모두 갖춘 장치(Strix Halo 시리즈와 같은)를 소유하고 있다면, 하이브리드 모델 (Hybrid Models)을 원하게 될 것입니다. NPU는 프롬프트 처리 (Prompt Processing) 속도가 엄청나게 빠르며, GPU 작동과 병렬로 실행될 수 있습니다.

좋습니다, 하이브리드 모드 (Hybrid Mode)란 무엇인가요?
LLM은 NPU 전용으로 실행될 수 있습니다. 만약 그렇게 설계되었다면 말이죠. 그 예시로 "FastFlowLM NPU" 모델을 확인해 보세요. 하지만 하이브리드 모드는 양쪽의 장점을 결합하며, 마침내 거의 1년 전(어떤 이들에게는 그보다 더 오래전)에 구매한 하드웨어를 활용할 수 있게 해줍니다.

이것을 테스트하려면 무엇을 할 수 있나요?
Lemonade를 다운로드하세요! 주로 Ryzen AI에 집중하고 AMD와 직접 협력하는 그들의 노력 덕분에, 저는 마침내 1년 전에는 불가능했던 방식으로 제 기기를 작동시킬 수 있게 되었고 Lemonade가 이를 가능하게 했습니다. GUI는 매우 기본적인 수준이라 실제 에이전트/채팅/하네스 (agentic/chat/harness) 용도로 추천하지는 않지만, 며칠 또는 몇 주를 투자하지 않고도 소프트웨어를 정상 작동 테스트 (sanity-test) 할 수 있다는 점은 어떨까요?

10/10
링크는 여기 있습니다: lemonade-server.ai
링크 이야기가 나와서 말인데, 하이브리드 모드와 자신만의 하이브리드 모델을 만드는 법에 대해 더 자세히 알아보려면 여기를 참조하세요: https://ryzenai.docs.amd.com/en/latest/llm/overview.htmlhttps://ryzenai.docs.amd.com/en/latest/llm/overview.html

이게 전부입니다. 그냥 공유하고 싶었습니다. 제 1년 된 컴퓨터가 소프트웨어 과학의 발전 덕분에 여전히 진보하고 있다는 사실이 정말 흥분됩니다.
이제 단 하나의 희망 사항/요청이 있습니다: MTP를 지원하는 하이브리드 모델입니다. Qwen 3.6은 Unsloth가 도입한 속도 향상 기술을 가지고 있으며, 3.6 GGUF는 단순히 "ONNX로 변환"될 수 없기 때문에 AMD는 "새로운 프로세서 형태 (new processor shapes)"에 대한 가이드를 제공하고 있습니다.

해당 가이드는 여기에서 확인할 수 있습니다: https://ryzenai.docs.amd.com/en/latest/oga_op_prepare.html
만약 누군가 시도하게 된다면, Hugging Face에 공유해 주세요!
참고로 이 모든 내용은 LLM (대규모 언어 모델)의 도움 없이,