지난 5개월 정도는 opus와 fable 모두 프롬프트 한 번으로 이런 작업을 할 수 있었음. 추론 엔진은 거의 순수한 계산이고, 대략적으로 보면 LLM 추론에 하드웨어가 지원해야 할 연산은 곱셈뿐이며 나머지는 ‘약간의 삼각함수’ 정도임.
이제 낡은 하드웨어에서 모델을 돌릴 때 가장 어려운 부분은 기기를 구하고 에이전트에 SSH 접근 권한을 주는 일임. 최신 에이전트라면 컴파일러 확보, 구현과 최적화, QEMU 등의 시뮬레이터에서 테스트, 기기 배포까지 가능함.
예를 들어 “이 기기에서 실행할 qwen3 0.6b 추론 엔진을 순수 어셈블리로 작성하고, 결과 바이너리에 가중치를 붙이는 스크립트를 작성해 줘. 입력 프리픽스는 stdin으로 u32 토큰 ID 스트림을 받고, 출력도 stdout으로 u32 토큰 ID를 스트리밍해 줘”라고 요청하면 됨.
나도 Claude 등 여러 모델을 적극 활용하지만, 핵심은 한 번의 프롬프트로 끝내는 데 있지 않음. GitHub에 공개한 로그를 보면 어떤 모델을 어떻게 돌리고 속도를 높일지 찾는 데 107회에 추가로 50회가량의 실험이 필요했음.
이 작업을 탐색 알고리즘 프로젝트로 접근하고 있음. 기기의 한계를 밀어붙이는 방법론을 개발하고, 방대한 커널 후보 가운데 특정 하드웨어에 맞는 것을 찾는 작업임. Claude가 무차별 탐색을 잘해 주지만, 관건은 어떤 방향으로 유도해 탐색 공간을 줄이고 작은 기기에서 배운 기법을 더 큰 환경으로 확장하느냐에 있음.
목표는 쉽게 돌릴 수 있는 0.6B가 아니라 16B 이상 모델임. 내가 본 바로는 이 규모부터 모델과 추론 엔진 양쪽의 최적화·맞춤화를 영리하게 탐색해야 함.
소형 로컬 모델을 개발하고 있는데, 기술 발전 속도가 놀라움. 1년 전에는 qwen 2.5 0.5b를 미세 조정해 대화형 캐릭터를 만들었고 꽤 잘 작동했지만, 추론이나 수학 능력은 없었으며 실행 사양도 제법 필요했음. 고사양 Raspberry Pi라면 그럭저럭 돌아갈 정도였음.
지금은 로컬에서 학습한 650만 매개변수 모델로 추론, 여러 단계의 수학 문제 풀이, 간단한 물리 문제 시뮬레이션, 도구 호출, RAG, 대화까지 수행함. ONNX로 패키징한 전체 크기가 약 30MB이고, 브라우저에서 지연 시간 10ms 미만으로 실행됨.
1년 전에는 1B 모델로 할 수 있는 일이 별로 없었지만, 이제는 적절한 실행 환경이나 미세 조정만 갖추면 최첨단 수준은 아니어도 꽤 실질적인 작업이 가능함. 6~8개월 뒤면 더 좋아져서 내 TV에서도 유용해질 것으로 기대함. 이렇게 작은 모델의 미세 조정은 아직 안 해 봤지만 도전해 볼 만해 보임.
최근 내 AI 회사에서 LLM을 구형 기기에 돌리는 오픈소스 프로젝트를 시작했음. 현재 사용 가능한 메모리가 1GB 미만인 iPad Air 1세대와 Xiaomi TV Box에서 16B 모델을 실행했고, 하드웨어를 고려하면 꽤 괜찮은 속도를 달성함.
누구나 재현하고 더 발전시킬 수 있도록 작업 과정, 개발한 커널, 결과를 공개하고 있음. 수정한 모델도 Hugging Face에 올려 두었음. https://huggingface.co/hyperionaidev.
더 도전적인 기기를 찾고 있는데, 무엇이 좋을까?
Playdate는 어떨까?
음성 처리 칩으로 답변하는 Speak and Spell은 어떨까?
Raspberry Pi 1세대나 2세대는 어떨까? ESP32도 생각했지만 RAM이 너무 작음.
화면 달린 전자담배는 어떨까?
나도 비슷한 방향을 탐구하지만, 모델 크기를 극단적으로 줄이는 데 집중하고 있음. LLM을 970KB까지 줄였고, GPT-2 소형 모델과 비교해 흥미로운 결과를 얻었음.
컴퓨터과학이나 AI 전공자는 아니지만, 이렇게 작은 모델을 어떻게 학습해야 정확한 답이나 출발점이 될 만한 유용한 가설을 내놓을 수 있는지 궁금함.
공개 저장소나 정리한 글이 있는지 궁금함. 아직 없다면 공개할 때 소식을 받고 싶음.
기술적으로는 멋진 작업이고 부정적으로 보는 것은 아니지만, 소형 모델의 실용성이 궁금함. 실제 작업에 쓸 만큼 똑똑한지, 무엇에 활용하고 있는지 궁금함.
HIPAA 같은 강한 규제를 받으면서, 변화가 느리고 위험을 꺼리는 조직의 오래된 온프레미스 시스템을 다룬다면 이런 모델이 사실상 유일한 희망임. 미국의 주정부 운영 의료 시스템 대부분이 여기에 해당함.
이런 환경의 데이터는 상상 이상으로 엉망이고 자유 서술형 필드에 묻혀 있음. 소형 모델은 이런 데이터를 정제·정규화·파싱·분류하는 데 적합함.
지금 당장 쓸모가 없더라도 상관없다고 봄. 대기업은 LLM이 자원을 많이 소비하는 편이 이익이므로 이런 연구에 나서지 않을 것이고, 그래서 커뮤니티 주도의 연구가 중요함.
경험상 미세 조정한 소형 모델은 범위가 좁은 작업을 아주 잘 수행함. 고객 데이터로 미세 조정한 1~2B 모델도 상당히 유망했음.
strata나 maya처럼 큰 모델을 작은 하드웨어에 욱여넣는 접근도 존중하지만, 나는 반대로 작은 기기의 한계를 소진할 때까지 맞춤형 커널과 모델 수정을 탐색하려고 함. 64GB 머신과 구형 GPU로 DeepSeek을 돌리는 대신, 작은 기기에서 합리적인 속도로 실행할 수 있는 가장 큰 Qwen 모델을 찾고 싶음.
여기서 발견한 기법을 확장하면 일반 노트북에서도 더 많은 연산 능력을 끌어낼 수 있음. 예컨대 qwen 3.8 27B는 전용 실행 환경과 결합하면 상당히 실질적인 일을 할 수 있지만, 유용한 출력과 속도를 유지하는 최소 사양은 아직 찾아야 함. 여기에 흥미로운 사업 기회가 있을 수 있음.
음성 인식과 음성 생성만으로도 작고 제약이 많은 기기에서 충분히 유용함. 소형 LLM으로 실시간 로그 파싱과 요약을 하는 것도 봤음. 기본적으로 LLM을 쓸 만한 곳이라면 어디든 적용하되, 다루는 개념의 범위를 훨씬 좁히는 접근임.
나도 궁금함. 도구를 쓰기에는 너무 멍청하고, 팬케이크 만드는 법을 물어도 엉터리 답만 나옴.
AI로 구형 기기를 되살리는 흐름이 마음에 들고, 이것도 탐구할 만한 새로운 방향임. 예전 플래그십 모바일 기기에서도 보고 싶음.
굴러다니는 휴대폰과 태블릿이 몇 대 있으니 시험해 보겠음.
구형 4GB GPU에서 모델을 돌려 보는 것도 의미가 있을까? 전력 효율이 좋지 않아 실익이 없을 것 같은데?
당장의 활용보다는 하드웨어의 한계에 대한 호기심이 출발점임. 앞으로 적은 매개변수로 더 뛰어난 능력을 내는 모델이 나오면 이런 기기에서도 실행할 수 있기를 기대함.
현재 실용성만 따지면 4GB GPU를 활용하는 편이 더 합리적이고, 이미 많은 사람이 작업 중임. 내 쪽은 이런 실행 능력을 활용할 좋은 모델이 나올 때까지 탐구하는 성격이 강함.
GitHub와 X에는 구형 GPU에서 괜찮은 모델, 특히 MoE 모델을 잘 돌리는 사람이 많고, 나도 집에서 시험하고 있음.
이런 소형 모델로 무엇을 할 수 있을까? 그저 신기해서 해 보는 용도일까?
현재로서는 신기함과 재미를 위한 성격이 강함. 도메인 데이터로 본격적인 미세 조정을 하지 않으면 작은 모델로 할 수 있는 일이 많지 않음.