Apple Neural Engine: 아키텍처, 프로그래밍 및 성능

Apple Neural Engine (ANE)는 A11 클래스의 iPhone 및 iPad 칩과 M1 클래스의 Mac 칩 이후로 Apple 시스템 온 칩 (SoC)에 탑재되어 온 고정 기능 행렬 가속기 (fixed-function matrix accelerator)이며, Core ML 모델 프레임워크를 통해서만 애플리케이션에 노출됩니다. 이 가이드는 Apple 실리콘에 대한 직접적인 측정과 프라이빗 런타임 (private runtime), 컴파일러 (compiler), 커널 드라이버 (kernel driver) 및 펌웨어 (firmware)에 대한 정적 분석을 바탕으로 한 엔진의 역공학 (reverse-engineered) 보고서입니다. 본 문서는 엔진의 처리량 (throughput)과 에너지 (energy)를 제한하는 데이터패스 (datapath)와 루프라인 (roofline), Core ML 하위에서 엔진에 도달하는 디스패치 경로 (dispatch route), 컴파일러 및 온디스크 프로그램 형식 (on-disk program format), 가중치 압축 방식 (weight-compression scheme), 그리고 이들의 하위에 있는 커널 드라이버, 펌웨어 및 명령 프로토콜 (command protocol)을 기록합니다. 이 보고서는 A11부터 A18, 그리고 M1부터 M5 제품군을 다루며, 칩별 타겟 테이블과 장치별 연산 매트릭스를 포함합니다. 직접적인 측정은 M1과 M5를 대상으로 수행되었습니다. 주장 사항들은 측정됨 (measured), 디컴파일 유도됨 (decompile-derived), 또는 예측됨 (predicted)으로 분류되었으며, 방법론과 미결 과제들도 기록되었습니다. 직접적인 경로는 일반 사용자 공간 (user space)에서 호출할 수 있으나, 문서화되지 않았고 지원되지 않으며 버전 변화에 취약합니다 (version-fragile). 이는 측정, 연구 및 온디바이스 (on-device) 작업을 위한 것이며, Core ML이 지원되는 경로로 남아 있는 소프트웨어 출시용으로는 의도되지 않았습니다.