10달러짜리 개발 보드와 256MB 메모리로 10억 파라미터(billion-parameter) 대규모 언어 모델(LLM)을 구동하는 것이 실제로 가능해졌습니다.

PicoLM은 순수 C 언어로 작성된 추론(inference) 프로그램으로, 컴파일 시 단일 파일 크기가 약 80KB이며 의존성(dependency)이 없고 실행 시 45MB의 메모리를 점유합니다.

Raspberry Pi 5에서는 초당 약 10개의 토큰(Token), Raspberry Pi 4에서는 8개의 토큰을 생성하며, 10달러짜리 보드에서도 1개의 토큰을 생성합니다.

GitHub: https://t.co/JNjhz8Bwy9

저자는 이를 PicoClaw의 로컬 브레인(local brain)으로 사용하고 있으며, 두 개를 결합하면 인터넷 연결이 필요 없는 완전 오프라인 에이전트(Agent)가 됩니다.

컨텍스트 캐시(Context cache)는 디스크에 저장되며, 동일한 프롬프트(prompt)를 두 번째로 실행할 경우 즉시 건너뛰어 저자의 실측 결과 최대 74%까지 빨라졌습니다.

ARM 및 x86을 대상으로 각각 명령어 수준의 최적화(instruction-level optimization)를 수행하였으며, 어텐션(attention) 계산과 캐시(cache) 또한 경량화되었습니다.

로컬에서 대규모 언어 모델을 구동하고 싶지만 예산이 한정되어 있다면, 이 프로젝트에서 참고하거나 배울 만한 점이 있는지 살펴보시기 바랍니다.