저처럼 복잡한 작업을 위해 AI를 자주 사용하고 Flipper Zero를 소유한 분이라면 Super Tiny Language Model (STLM)이 필요할 수 있습니다.

유용한 이유

지금까지는 Flipper Zero와 같은 작은 장치에서 실행할 만큼 충분히 작은 언어 모델이 없었습니다. Flippermind는 경량 Python3 설치 및 Qwen2.5-0.5B에 대한 로컬 연결을 사용합니다. 이것은 Flipper Zero를 위해 구성되었지만, Raspberry Pi와 같은 다른 소형 기기에서도 실행할 수 있습니다.

어려움

개발 과정 전반에 걸쳐 언어 모델이 로드되지 않는 오류를 발견했습니다. Python3 의존성을 실행하기 위해 PyTorch와 Python3 transformers가 사용되었는데, 이것들이 Debian Linux 배포판에서는 작동하지 않았습니다. 저는 install.sh를 수정하여 모든 OS에서 실행되도록 했습니다.

작동 방식

이 기능을 구현하는 몇 가지 주요 구성 요소가 있습니다. 주 기능은 tools/에 위치한 qwen_2_5_ask.py 스크립트입니다. 이 스크립트는 질문을 받을 때 언어 모델을 실행합니다.

예시:

python3 qwen_2_5_ask.py "Hello world"

main에 위치한 install.sh 파일은 모델 설치 프로그램 역할을 합니다.

다음과 같이 실행합니다:

bash install.sh

아래 연결된 GitHub 저장소에서 다운로드할 수 있습니다.

기여 방법

제가 계속 작업하는 데 도움을 주려면, 저희 Github Repo를 확인해 주세요.

질문이 있거나 그냥 이야기하고 싶다면, 댓글로 저에게 말하거나 hello@syop200.com으로 이메일을 보내주세요.

여러분은 어떻게 생각하시나요? 아이디어가 있으신가요? 이 적은 RAM을 가진 하드웨어에서 다른 양자화된 모델을 성공적으로 실행한 사람이 있는지 궁금합니다. 댓글로 알려주세요!