OnePlus 13에서 순수 CPU로 17 tok/s를 기록하는 LFM2.5-2.6B

원문 발행 2026. 08. 05. 23:20원문 언어 영어AI 한국어 번역r/OpenAI Codex (search) 원문 보기

요약

OnePlus 13 모바일 기기에서 2.69B 파라미터 규모의 LFM2.5 모델을 순수 CPU만으로 실행하여 17 tok/s의 속도를 기록했습니다. 사용자가 직접 구축한 450kb 크기의 경량 추론 엔진을 통해 ADB 환경에서 구동되었습니다.

핵심 포인트

LFM2.5-2.6B 모델의 모바일 CPU 환경 성능 검증
128K 컨텍스트 윈도우 및 에이전트 워크플로우 최적화
450kb 크기의 초경량 커스텀 추론 엔진 활용
GGUF 포맷 및 다양한 모델 아키텍처 지원

여러분 모두 알고 계시듯, 이 모델은 128K 컨텍스트 윈도우 (context window)를 가진 2.69B 파라미터 (parameters) 모델이며, 다단계 에이전트 워크플로우 (multi-step agent workflows)를 위해 특별히 제작되었습니다. 여러분이 보고 계신 것은 제가 처음부터 직접 구축한 저만의 추론 엔진 (inference engine)에서 실행되는 Q4_K_M GGUF입니다. TUI는 ADB (Android Debug Bridge)를 통해 실행되는 저만의 장치 프로브 스위트 (device probe suite)입니다. 엔진 전체 크기는 단 450kb에 불과하며 다른 모델 아키텍처 (arch) (Qwen, Gemma, Bonsai 등...)를 지원합니다. 현재 약 30 tok/s까지 성능을 끌어올리기 위해 시도 중입니다. /u/trikboomie가 r/LocalLLaMA에 제출함 [link] [comments]

AI 자동 생성 콘텐츠

원문 바로가기

OnePlus 13에서 순수 CPU로 17 tok/s를 기록하는 LFM2.5-2.6B

요약

핵심 포인트

댓글