실제 트랜스포머 언어 모델을 스톡 게임보이 컬러에서 구동하는 모습!

요약

본 기사는 외부 연결 없이 오직 스톡 게임보이 컬러(Game Boy Color) 하드웨어만으로 트랜스포머 언어 모델을 구동하는 과정을 다룹니다. Andrej Karpathy의 TinyStories-260K를 INT8 가중치와 고정 소수점 연산으로 변환하여 부동 소수점 없이 실행 가능하게 만들었으며, 이 모델은 게임보이 ROM과 카트리지에 저장됩니다.

핵심 포인트

• 외부 연결(Wi-Fi, 클라우드 등) 없이 오직 스톡 Game Boy Color 하드웨어만 사용합니다.
• 모델 가중치는 INT8 정수 연산 및 고정 소수점 방식으로 구현되어 부동 소수점 계산이 필요 없습니다.
• 프롬프트 입력은 D-pad/버튼과 화면 키보드를 통해 이루어지며, 토큰화 후 트랜스포머 프리필 및 자기회귀 생성이 실행됩니다.
• 작업 RAM 제약으로 인해 KV 캐시는 카트리지 SRAM에 저장되는 방식으로 최적화되었습니다.