LemonSeed Studio는 AMD GPU를 탑재한 Thunderbolt 인클로저 내에서 온디바이스 추론을 수행하는 iPad용 에디터/IDE입니다. 이 도구는 수정되지 않은 업스트림 Linux amdgpu + amdkfd 드라이버(mac_linuxgpu)를 PCIDriverKit 확장으로 임베드하고, GPU에서 LemonSeed Engine (LSE)을 실행합니다. 사진에는 다음과 같은 구성이 있습니다: iPad Pro + Sapphire Radeon AI PRO R9700, Qwen3.8-27B Q4와 Q8 DFlash2 초안을 사용한 131k 컨텍스트입니다. LSE는 Linux, macOS, iPadOS 등 모든 플랫폼에서 동일하게 작동하는 엔진입니다. 이 엔진은 모델의 순전파(forward pass)를 그래프로 기록하고, 연산(ops)을 융합하며, 해당 GPU에 맞는 커널을 생성합니다. 여러 레이아웃을 가진 커널의 경우, 장치에서 각각 측정하여 가장 빠른 것을 유지합니다. Speculative decoding (MTP 및 DFlash2)은 측정된 수용률과 비용을 기반으로 몇 개의 초안 토큰(draft tokens)을 검증할지 결정합니다.
Decode, code prompt, Qwen3.8-27B Q4 (baseline / MTP=3 / DFlash2 tok/s):
- R9700 on iPadOS (LemonSeed Studio): 31.2 / 108.7 / 158.5
- R9700 on macOS: 32.2 / 111.9 / 159.4
- R9700 on Linux: 32.0 / 111.0 / 144.6
- Strix Halo (Radeon 8060S) on Linux: 14.0 / 47.8 / 64.4
Prefill at 4K tokens: 1,636 (iPadOS), 1,634 (macOS), 1,418 (Linux R9700), 517 (Strix Halo).
It holds up at 32K: 1,395 / 1,401 / 1,226 / 462.
0.5.8 버전의 새로운 기능:
- DFlash2 초안 트리(draft trees)가 기본적으로 활성화됨: 하나의 목표 패스(target pass)가 체인보다 빠르다고 측정된 경우 초안 후보 트리를 검증함.
- Strix Halo (gfx1151) prefill 및 decode 작동: 융합된 gate/up GEMM, prefill attention에서 워크그룹당 두 개의 쿼리 타일(query tiles).
- 시작 시 GPU 오류 수정.
- Linux 아카이브가 자체 HSA runtime을 포함하므로, /dev/kfd 접근 권한만 있으면 amdgpu 드라이버만 필요함.
lse-server 모델 / 풀: MTP 또는 DFlash2 동반자가 있는 Hugging Face 모델을 OpenAI 호환 서버, CLI 및 C 라이브러리(libLSE)와 함께 가져갈 수 있습니다. 엔진: https://github.com/Geramy/LSE Studio: https://github.com/Geramy/LemonSeed-Studio
질문에 답변드리겠습니다. 특히 iPadOS에서 eGPU를 작동시키는 방법에 대한 질문에 답해드릴 수 있습니다.
submitted by /u/TheOriginalG2 [link] [comments]
