Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
탈옥된 PS5에 AI 모델을 로컬로 구동하는 것이 가능해졌습니다. u/AdIllustrious7246은 llama.cpp를 포크하여 네이티브 앱으로 만들고, PS5_Vulkan 드라이버를 활용해 GPU 가속을 구현했습니다. 이를 통해 Qwen 27B 같은 대형 모델도 초당 높은 토큰 속도로 구동할 수 있게 되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Tom's Hardware의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Reddit 사용자 [u/AdIllustrious7246]가 자신의 PS5LM 포크(fork)를 게시하면서, 탈옥된 PS5의 기능 목록이 길어지고 있습니다. PS5LM은 AI LLM을 로컬에서 실행하기 위한 llama.cpp 포트입니다. 이 업데이트를 통해 PS5LM은 네이티브하게 PS5에서 실행될 수 있게 되었고, GPU를 활용하여 Qwen3.8-27B와 같은 더 큰 AI 모델을 초당 20 토큰으로 실행할 수 있게 되었습니다.
GitHub 사용자 cobanov는 14일 전 Reddit의 llama.cpp 비공식 포트를 게시하여, 탈옥된 PS5가 AI 채팅 모델을 로컬 및 오프라인으로 실행할 수 있게 했습니다. u/AdIllustrious7246에 따르면 cobanov의 버전은 CPU에서 페이로드(payload)로 실행되며, 메모리가 6 GiB로 제한됩니다. 페이로드로 실행한다는 것은 기본적으로 CPU를 가로채서 LLM을 홈 화면 및 시스템 서비스의 명령어 흐름에 삽입하는 것을 의미합니다. 하지만 RAM 접근은 약 6.25 GiB로 제한되는데, 그 이상을 사용하면 홈 화면이 멈추기 때문입니다. cobanov는 가능한 한 빨리 llama.cpp를 실행시키는 것이 목적이었지만, 결국 더 큰 모델을 실행하기 위해 GPU를 활용하고 싶어 했습니다. 하지만 u/AdIllustrious7246가 자신의 포크로 그보다 앞서나갔습니다.
탈옥된 PS5의 GPU에서 Qwen 27B를 초당 약 20 토큰으로 실행. PS5LM을 포크하여 네이티브 앱으로 만들었습니다
u/AdIllustrious7246은 PS5의 명령어 전송을 가능하게 하는 RADV 그래픽 드라이버 포팅 버전인 PS5_Vulkan을 활용했습니다. 일반적으로 PS5 GPU는 AMD GPU임에도 불구하고 잠겨 있어 PC GPU처럼 접근할 수 없었습니다. PS5_Vulkan은 GPU에서 할 수 있는 일들을 개방함으로써 많은 홈브루(homebrew) 프로젝트를 가능하게 한 프로젝트 중 하나이며, 여기에는 LLM 실행도 포함됩니다.
이제 llama.cpp가 PS5에서 네이티브로 실행되어 GPU를 완전히 활용하고 사용할 수 있는 RAM을 더 많이 확보하면서, u/AdIllustrious7246은 27B 파라미터 모델을 초당 20 토큰으로 실행할 수 있었고, Gemma 4 E4B 및 Llama 3.2 3B 같은 소형 모델은 각각 초당 61토큰과 124토큰으로 실행할 수 있었습니다. 이전에는 대용량 6.8 GiB LLM이 CPU 병목 현상 때문에 시스템을 멈추고 충돌시켰지만, GPU가 LLM 처리에 훨씬 뛰어나기 때문에 요즘 GPU와 RAM 가격이 엄청납니다.
GPU에서 실행하는 것이 훨씬 빠른 토큰 출력을 가능하게 했으며, 네이티브로 실행하면서 u/AdIllustrious7246에 따르면 최대 11.4 GiB까지 더 많은 RAM을 사용할 수 있게 했습니다. 개발자는 앱을 네이티브로 실행했을 뿐만 아니라, 실시간 토큰-초 생성 속도, GPU 및 CPU 사용량, 전력 소모량, 온도, 그리고 메모리가 모델과 KV 캐시 사이에 어떻게 분할되는지 등 유용한 데이터를 보여주는 대시보드까지 제공했습니다. 또한 llama.cpp의 웹 UI와 연동되도록 만들어 사용자들은 브라우저를 통해 다른 로컬 장치에서 LLM과 채팅할 수 있게 했습니다.
이것은 PS5가 게임용으로 사용되지 않을 때 AI 비서로 작동하게 할 수 있는 인상적인 성과임에도 불구하고, 댓글 작성자들은 암호화폐 채굴 GPU 위기를 떠올리고 있습니다. 하지만 이는 가능성이 낮습니다. 이미 대규모 AI 데이터 센터의 수요 덕분에 GPU와 RAM 부족 사태가 진행 중이며, PS5는 가장 빠른 GPU나 가장 많은 RAM을 가지고 있지는 않기 때문입니다.