여러분 모두 알고 계시듯, 이 모델은 128K 컨텍스트 윈도우 (context window)를 가진 2.69B 파라미터 (parameters) 모델이며, 다단계 에이전트 워크플로우 (multi-step agent workflows)를 위해 특별히 제작되었습니다. 여러분이 보고 계신 것은 제가 처음부터 직접 구축한 저만의 추론 엔진 (inference engine)에서 실행되는 Q4_K_M GGUF입니다. TUI는 ADB (Android Debug Bridge)를 통해 실행되는 저만의 장치 프로브 스위트 (device probe suite)입니다. 엔진 전체 크기는 단 450kb에 불과하며 다른 모델 아키텍처 (arch) (Qwen, Gemma, Bonsai 등...)를 지원합니다. 현재 약 30 tok/s까지 성능을 끌어올리기 위해 시도 중입니다. /u/trikboomie가 r/LocalLLaMA에 제출함 [link] [comments]