marty1885가 개발한 초기 ET 백엔드 · Pull Request #24179 · ggml-org/llama.cpp

요약

본 PR은 AINekko와 AIFoundry 멤버들이 개발한 ET 백엔드를 llama.cpp에 추가합니다. 이는 Esperanto Technologies가 개발한 ET-SOC-1 프로세서를 지원하며, 오픈 소스 하드웨어를 추론 생태계에 통합하는 것을 목표로 합니다.

핵심 포인트

• ET-SOC-1은 저전력 프로세서로, ARM R7 7700보다 높은 와트당 성능을 제공합니다.
• 오픈 소스 하드웨어(ET)를 오픈 소스 추론 생태계에 통합하려는 시도입니다.
• llama.cpp 백엔드를 업스트림하여 커뮤니티 기반으로 개발되었습니다.