본문으로 건너뛰기
Tom's Hardware헤드라인2026. 11. 16. 23:34
탈옥된 PS4가 최대 초당 43 토큰으로 90억 매개변수 AI 모델 구동 대표 이미지

탈옥된 PS4가 최대 초당 43 토큰으로 90억 매개변수 AI 모델 구동

원문 발행 2026. 11. 16. 22:00원문 언어 영어AI 한국어 번역Tom's Hardware 원문 보기

요약

Leonardo Alegría의 Garlic LLM은 탈옥된 PS4가 90억 매개변수 Qwen3.5-9B 모델을 오프라인으로 구동하는 방법을 제시합니다. 이 프로젝트는 콘솔 GPU를 활용하여 모델을 축소하고, 초당 31~39 토큰의 속도로 작동시킵니다. 이는 PS4 하드웨어 제약 내에서 LLM 구동 가능성을 보여주는 개발 사례입니다.

핵심 포인트

  • PS4의 2013년 GPU를 이용해 90억 매개변수 AI 모델을 오프라인 구동.
  • 모델은 콘솔 메모리에 맞춰 약 4.5GiB로 축소되어 작동함.
  • 텍스트 채팅 속도는 초당 31~39 토큰으로 측정됨.
  • OpenCL C와 GCN 아키텍처를 활용한 커스텀 컴퓨트 커널 사용.

AI 자동 생성 콘텐츠

본 콘텐츠는 Tom's Hardware의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0