요약

본 기사는 TV 박스나 구형 태블릿 같은 저사양 장치에서 LLM을 구동하는 'smolmaxxing' 기술을 소개합니다. 커스텀 커널, 가중치 스트리밍 등의 최적화 기법으로 하드웨어의 잠재력을 극대화하여 모델 성능을 끌어올립니다. Xiaomi TV Box와 iPad Air 2013 등 실제 장치에서 다양한 크기의 모델 구동 속도를 측정했습니다.

핵심 포인트

• 저사양 장치에서도 LLM 구동이 가능하며, 하드웨어의 잠재력 해제가 핵심입니다.
• Xiaomi TV Box S (3세대)는 8B MoE 모델을 실시간 채팅에서 7.2 tok/s로 구동했습니다.
• 1세대 iPad Air (2013)는 1.7B 매개변수 모델을 초당 24~26 토큰으로 구동할 수 있었습니다.
• 성능 향상을 위해 커스텀 커널, 가중치 스트리밍 등 다양한 최적화 기법이 활용되었습니다.