MicroLLM Lab - 브라우저에서 초소형 LLM 7개 체험하기

멋진 프로젝트지만 UI 개선을 권하고 싶음. 글자가 너무 작고 정보가 지나치게 빽빽함. 사용법은 이렇게 간단한데 실제 조작 화면에 도달하려면 대부분 쓸모없는 AI 생성 정보를 한 페이지 넘게 스크롤해야 하는 건 이상함.
바닥글도 이해하기 어려움. 왜 사이트 자신으로 다시 연결하고, 왜 “serve over HTTP”라고 안내하는지 모르겠음.

제안한 변경 사항을 어떻게 반영할지 생각해 보겠음.
수정: 작은 글씨는 약관의 깨알 글씨처럼 건너뛰라고 있는 것이라고 결론 내림. 페이지 전체가 600단어뿐이라 전부 읽어도 많은 분량은 아님. HN 첫 화면에 몇 시간째 올라 있는 걸 보면 현재 모습 그대로 좋아하는 게 분명하니, 바꿀 필요는 없다고 봄.
바닥글은 ZIP을 내려받아 압축을 푼 뒤 index.html을 바로 열면 작동하지 않고, 로컬 웹 서버를 실행해야 한다는 뜻임.

소프트웨어의 미래가 이런 엉성한 UI라니 씁쓸함.

SmolLM2 360M Instruct에 캘리포니아 인구를 물었더니 한계가 우스울 정도로 드러남.
“미국에서 세 번째로 큰 주이며 인구는 약 1억 5,300만 명”이라고 하더니, 곧바로 “인구 약 3억 2,500만 명으로 미국에서 가장 인구가 많은 주”라고 답함. 이어 “GDP 기준으로도 인구가 가장 많으며 GDP는 1달러”라는 문장까지 나옴.
그래도 괜찮은 GPU가 없는데도 속도는 매우 빠름.

PetitGPT research-v1에 “우드척이 나무를 던질 수 있다면 얼마나 던질까?”라는 말장난 질문을 해 봄.
답변은 “던질 수 있다면 던질 것”이라며, 나무 던지기가 나무에서 영양분을 추출하는 행동이라는 설명을 같은 표현으로 계속 반복함. 읽다가 웃음이 나옴.

PetitGPT research-v1에 기본 산술 질문인 “2+2는?”을 넣어 봄.
“2+2를 구하려면 방정식 양변에 2를 더해야 함. 2+2=4. 따라서 2+2=4+2”라고 답함. 참 대단함.

GPT-2 124M은 형편없음. “2+2는?”이라고 물었더니 “3+3? 4+4? 5+6? 7+8?”로 시작함.
이어 답글 수나 시간처럼 보이는 문자열과 함께 “초보자인데 3x2가 최선이며, 다른 선택지가 확실하지 않으면 그냥 시도하고 다시 해 보라”는 엉뚱한 답변이 나옴.

틀린 건 아님. LLM은 의미상 올바른 문장을 생성하지, 사실에 맞는 진술을 생성하는 게 아님. 벌써 잊어버린 건가?

“Anthropic의 claude fable 5.1과 비교하면 능력이 어떤가?”라고 물어봄.
답변은 “매우 비슷하며, 둘 다 교활하고 조종적인 동물인 광대에 관한 이야기”라고 함. 둘 다 문제와 도전에 맞서지만 목표와 접근법은 다르다더니 “광대는”에서 끝남.
이 정도면 모델의 수준을 충분히 알 수 있다고 봄.

비슷하지만 더 간단한 프로젝트를 만들었음. https://tiny.tobelabs.com/. Tiny Stories로 학습한 소형 언어 모델임. 첫 번째 목표는 최대한 빨리 모델이 생성한 토큰을 보여 주는 것이고, 두 번째는 Tiny Stories를 모르는 사람에게 시연하는 것이었음. 삼진 모델도 실험해 보고 싶었음. https://arxiv.org/abs/2305.07759.
같은 페이지에 더 큰 질의응답 모델도 있음.

웹 앱이 기기 내 모델에 직접 접근할 수 있게 되는 것이 기대되며, 여러 접근법을 볼 수 있어 좋음.
공개 가중치 모델을 기기에서 실행하는 브라우저 표준 API를 탐구하는 Web Models API 제안을 작업 중임. 의견을 듣고 싶음. https://www.webmodels.dev.

제안을 읽어 봤는데 훌륭함. 사용자가 다운로드에 동의하면 navigator는 모델을 어디서 가져오게 되는지 궁금함.
이 데모에서는 자체 서버로 모델을 배포하지만, 더 큰 모델은 공개 가중치여도 직접 다운로드 링크가 없을 수 있어 문제가 될 듯함.

멋진 프로젝트지만 모델을 불러오지 못함. 어떤 환경에서 테스트했는지 궁금함. 다음 데모 링크로 시도함. https://willaaam.github.io/gemma-4-E2B-webgpu-vision/.
Windows와 NVIDIA 1060 GPU(메모리 6GB)에서는 Failed to load: No supported WebGPU variant for com.xenova.gemma4.DenseGemv; rejected sgma 오류가 발생함.
메모리 24GB인 2026년형 Mac Mini M4의 Safari에서는 Failed to load: JSON Parse error: Unexpected EOF 오류가 발생함. 아이디어 자체는 멋짐.