저는 올해 초에 로컬 AI(local AI)에 관심을 갖게 되면서 다양한 모델과 하드웨어들을 가지고 실험하기 시작했습니다. 그러던 중 tiiny를 접하게 되었고, 디자인과 그 배경 아이디어 전체가 정말 마음에 들어서 초기 후원자(early backer) 중 한 명이 되었습니다. 영원처럼 느껴졌던 시간이 지나고 어제 드디어 제 제품이 도착했습니다. 지금까지 사용해 본 결과는 제가 예상했던 것과 거의 같습니다. 몇 시간 동안 다양한 모델을 테스트하고 성능 및 코딩 테스트를 진행해 보았고, 그 결과를 공유하고자 합니다. 이처럼 벤치마크 게시물을 작성하는 것은 처음이라 놓친 부분이 있거나 더 잘할 수 있는 부분이 있을 수 있습니다. 제 테스트에 이상한 점이 보이거나 추가해야 할 것이 있다고 생각하시면 언제든지 알려주세요. 여러분의 어떤 피드백도 정말 감사하게 생각합니다.
https://preview.redd.it/fcl01pkkmszh1.png?width=959&format=png&auto=webp&s=7bfc80b336b7baef2373c01fdb4ee12404e9555b
하드웨어 및 테스트 환경 설정 (Hardware & Test Setup)
제가 Tiiny에 매료된 가장 큰 이유는 KS 가격이었는데, 하드웨어로는 괜찮은 거래처럼 보였고 전체적인 휴대성도 좋았기 때문입니다. 크기는 약 5.6 × 3.1 × 0.9인치이며 무게는 약 300g 정도 나갑니다. 사양에 익숙하지 않은 분들을 위해 말씀드리자면, Tiiny Pocket은 32GB의 SoC 메모리와 48GB의 전용 NPU(신경망 처리 장치) 메모리를 갖추고 있습니다. 총합은 80GB이지만, 이는 통합 메모리(unified memory)는 아닙니다.
테스트는 TiinyOS 0.1.36에서 수집되었습니다.
제가 테스트한 모델들 (Model Architecture)
| 모델 | 아키텍처 | 양자화(Quantization) | 모델 크기 |
|---|
| Qwen3.5-9B-Turbo | Dense | 9B INT4 | 6.55 |
| Qwen3.6-35B-A3B-Turbo | MoE | 35B / 3B active Mixed INT4/INT5 | 17.73 |
| gpt-oss-120b | MoE | 117B / 5.1B active Mixed INT4/INT8 | 67.30 |
성능 결과 (Performance Results)
속도 테스트를 위해 약 4K 입력 토큰을 가진 동일한 벤치마크 텍스트를 사용했으며, 프롬프트 캐싱(prompt caching)은 비활성화했고 모델당 다섯 번씩 실행했습니다. 아래 수치는 중앙값(medians)입니다.
| 모델 | 입력 / 출력 토큰 (Input / Output Tokens) | PP (tok/s) | TG (tok/s) | TTFT | 총 시간 (Total Time) |
|---|
| Qwen3.5-9B-Turbo | 4,074 / 97 | 1,041.30 | 75 | 4.05s | 5.45s |
| Qwen3.6-35B-A3B-Turbo | 4,074 / 139 | 590.6 | 63.6 | 7.04s | 9.28s |
| gpt-oss-120b | 3,868 / 390 | 458.4 | 15.97 | 8.78s | 33.07s |
9B 모델이 가장 빨랐는데, 이는 놀랍지 않은 결과였습니다.
제가 주목한 부분은 35B MoE 모델이 여전히 약 64 t/s를 유지한다는 점이었습니다. 120B 모델은 눈에 띄게 느려서 평균적으로 약 16 tok/s 수준이었습니다. 이 모델은 다른 모델보다 더 많은 토큰을 생성했음에도 불구하고, 벤치마크 요청을 완료하는 데 30초 이상이 걸렸습니다.
저는 또한 코딩 테스트를 진행하여 실제 코딩 작업 처리 능력을 확인하고 싶었습니다. 저는 모든 모델에게 동일한 과제를 주었습니다: 재고 업데이트, 유효성 검사 및 주문 처리를 다루는 네 개의 파일에 걸친 작은 Python 재고 및 주문 관리 패키지를 생성하는 것이었습니다. 세 모델 모두에게 동일한 프롬프트를 사용했으며, 사고/추론(thinking/reasoning) 설정은 낮게, 최대 출력 토큰 수는 12,288로 제한했습니다.
결과를 확인하는 방법은 다음과 같습니다: 생성된 코드는 Mac에서 Python 3.12를 사용하여 별도로 테스트되었으며, 재고 일관성(inventory consistency), 주문 멱등성(order idempotency), 입력 유효성 검사(input validation), CLI 동작을 포함한 주요 요구 사항들을 다루는 10개의 자동화된 테스트가 진행되었습니다. 모든 테스트가 성공하면 '완벽 통과'로 간주했습니다. 저는 이 과정을 여러 번 반복했고, 모델별로 가장 좋은 실행 결과를 기록했으며, 아래 표에 그 결과가 나와 있습니다.
| Model | Input / Output Tokens | Total Time | Result |
|---|
| Qwen3.5-9B-Turbo | 703 / 5,977 | 104.32s | 두 번 시도했으나 모두 채점 불가 |
| Qwen3.6-35B-A3B-Turbo | 741 / 11,807 | 235.09s | 10개 중 9개 성공 |
| gpt-oss-120b | 763 / 3,774 | 228.54s | 10/10 모두 성공 |
9B 모델은 채점 가능한 답변을 한 번도 생성하지 못했습니다: 첫 번째 시도는 12288 출력 제한에 걸렸고, 두 번째는 inventory/cli.py를 두 번 생성하여 테스트할 단일 버전이 없었습니다. 복사본 중 하나를 사용했다면 5/10 정도였을 것입니다. 35B 모델은 코드 토큰 1,768개를 사용하여 9/10을 기록했습니다. 이는 제가 목표했던 2~4K에 약간 못 미치는 수치였습니다. 유일한 실패 사례는 주문이 이미 남은 재고를 모두 소진했을 때, 해당 주문을 재시도하면 원래 영수증을 반환하는 대신 실패한다는 매우 구체적인 예외 케이스였습니다. gpt-120b만이 약 229초 만에 코드 토큰 2,594개로 모든 테스트 10개를 통과한 유일한 모델이었습니다. 흥미로운 점은 35B와 120B가 거의 비슷한 시간을 사용했다는 것입니다: 각각 235초 대 229초였습니다. 따라서 120B가 모든 것을 정확하게 수행한 유일한 모델이었지만, 35B도 뒤처지지 않았으며 둘 다 작업을 완료할 수 있었습니다.
결과 및 시사점: 9B가 전반적으로 가장 빨랐습니다. 약 4초의 ttft(Time To First Token)와 75 tok/s로, 빠르고 가벼운 작업에는 아마도 이 모델부터 시작할 것 같습니다. 하지만 더 복잡한 테스트에서는 어려움을 겪었습니다.
저에게는 35B가 Tiiny의 최적 지점입니다. 약 64 tk/s로 놀라울 정도로 빠르며, 제가 시도한 많은 작업들을 상당히 잘 처리합니다. 다중 파일 테스트에서 보여주었듯이, 여전히 더 복잡한 코딩 작업에는 한계가 있지만, 전반적으로 속도와 성능 사이의 균형을 매우 잘 유지하고 있습니다. 실제로 지금까지 가장 많이 사용한 모델입니다.
120B도 실제로 작동하지만, 인내심이 필요합니다. 이 테스트에서 특히 작은 모델들과 비교했을 때 다중 파일 코딩 결과는 인상적이었습니다. 하지만 16 tk/s는 충분히 느려서 사소한 질문마다 사용하고 싶지는 않습니다. 또한 이번 실행에서는 로드하는 데 약 75초가 걸렸고 dNPU 메모리의 거의 전부를 사용했습니다.
지금까지는 더 빠른 상호작용을 위해 9B 또는 35B를 선호하고, 몇 분 기다리는 것이 큰 문제가 아닌 가끔 더 까다로운 작업을 위해 120B를 보관할 것 같습니다. 요약하자면(TL;DR), Tiiny는 작은 장치에서 상당히 큰 로컬 모델들을 실행할 수 있으며, 작은 모델들(9B/35B)의 성능은 좋습니다. 120B 결과는 더 복잡한 작업에 대한 잠재력이 있음을 보여주지만, 속도와 신뢰성 사이의 트레이드오프가 현실적입니다. 하지만 지금까지 가장 큰 불만은 제한적인 모델 선택입니다. 현재는 사용자가 직접 모델을 가져오거나 Hugging Face에서 무언가를 설치할 수 없습니다.
다만 tiiny 팀은 Discord에서 모델 가져오기 도구(model import tool)를 출시할 계획이라고 언급했습니다. 그것이 실제로 사용 가능해지면, 제가 실행하고 싶었던 다른 모델들을 시도해보고 그 결과를 여기에 공유하고 싶습니다. 전반적으로 저는 이 제품에 만족하며, 구매 가격을 생각하면 그 정도의 RAM과 SSD는 오늘날 훨씬 더 비쌀 것입니다. 예상 소매 가격이 KS 가격의 거의 두 배라고 본 것 같습니다.
/u/IronDiligent6698 제출 [링크] [댓글]
