USB-C 케이블로 iPhone을 Mac의 두 번째 컴퓨팅 유닛으로 연결하여 Qwen3.8-27B 구동 성능 향상

iPhone을 USB-C 케이블로 Mac에 연결하여 두 번째 컴퓨팅 유닛으로 활용할 수 있으며, 이를 통해 24GB RAM을 가진 Mac에서 Qwen3.8-27B를 실행할 때 더 빠른 prefilling 속도와 64k에서 128k 이상의 사용 가능한 컨텍스트(context) 길이를 확보할 수 있습니다.
https://github.com/StayLameBro/backburner
...
10Gb/s USB-C 케이블을 연결하면, iPhone이 Mac의 추가 컴퓨팅 파워가 되어 Qwen3.8-27B를 구동하는 데 사용됩니다—이것이 Backburner 접근 방식입니다.
레이어 1부터 40까지는 Mac에 유지되고, 레이어 41부터 64까지는 휴대폰의 GPU 매트릭스 유닛으로 오프로드(offloaded)되며, 256개의 토큰이 배치된 스태거드 파이프라인(batched staggered pipelines)으로 처리됩니다. 16k에서 48k 컨텍스트에 대한 prefilling 대기 시간은 29% 감소하여 44%가 됩니다. Mac의 64k KV 캐시가 한계에 도달하면, 가장 오래된 데이터는 각각 4,096개의 키(keys) 단위로 휴대폰으로 마이그레이션되며, 어텐션(attention) 처리는 휴대폰의 GPU와 뉴럴 엔진(neural engine)이 담당합니다. 용량 한계는 휴대폰의 남은 메모리를 기반으로 시작 시 결정되며, iPhone 17 Pro Max의 경우 8비트에서 196k-229k 토큰에 도달할 수 있으며, 이미 128k가 테스트되었습니다.