marty1885가 개발한 초기 ET 백엔드 · Pull Request #24179 · ggml-org/llama.cpp
요약
본 PR은 AINekko와 AIFoundry 멤버들이 개발한 ET 백엔드를 llama.cpp에 추가합니다. 이는 Esperanto Technologies가 개발한 ET-SOC-1 프로세서를 지원하며, 오픈 소스 하드웨어를 추론 생태계에 통합하는 것을 목표로 합니다.
핵심 포인트
- ET-SOC-1은 저전력 프로세서로, ARM R7 7700보다 높은 와트당 성능을 제공합니다.
- 오픈 소스 하드웨어(ET)를 오픈 소스 추론 생태계에 통합하려는 시도입니다.
- llama.cpp 백엔드를 업스트림하여 커뮤니티 기반으로 개발되었습니다.
이 PR은 AINekko와 AIFoundry(AINekko의 OSS 커뮤니티) 멤버들이 개발했으며, ET-SOC-1 프로세서를 지원하는 ET 백엔드를 추가합니다. ET-SOC-1은 원래 Esperanto Technologies가 개발한 것이었으며, AINekko는 이를 Apache 2.0으로 오픈 소스화하여, 우리가 이 프로세서에 대해 개발한 llama.cpp 백엔드를 업스트림(upstream)함으로써 오픈 소스 하드웨어를 오픈 소스 추론 생태계에 통합하고자 합니다.
ET 프로세서 코어 문서 및 RTL은 다음 링크에서 확인할 수 있습니다.
CORE-ET RTL (컴퓨팅 관련만 가능하며, NoC/메모리/PCIe는 공개되지 않았습니다)
et-platform SDK 및 드라이버
ET-SOC-1은 구형 저전력 프로세서이므로 절대적인 성능은 CPU와 비교했을 때 인상적이지 않습니다. 하지만 여전히 제 ARM R7 7700 개발 머신보다 더 나은 와트당 성능을 제공합니다. 구체적인 성능 수치는 다음 표를 참고해 주십시오.
제출자 /u/pmttyji
[링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기