Arm 및 ExecuTorch 0.7: 대중에게 생성형 AI를 가져다주는 것

Arm 의 최근 SME2 발표 이후 Arm KleidiAI 의 역할은 Arm 의 다음 세대 AI 를 위한 가속화 계층으로서의 역할을 더욱 명확해지고 있습니다. XNNPack, MediaPipe, MNN, ONNX Runtime, 그리고 심지어 llama.cpp 와 같은 널리 사용되는 Edge AI 프레임워크에 KleidiAI 를 통합함으로써 개발자가 코드 변경 없이도 상당한 성능 향상을 제공하고 있습니다. 이 기반은 곧 출시될 ExecuTorch 0.7 베타에서 KleidiAI 가 기본으로 활성화되도록 하여 최신 Arm CPU 아키텍처를 기반으로 한 장치뿐만 아니라 기존에 구축된 다양한 세대폰의 광범위한 기지에도 자동 가속을 가져다줍니다.

Android 및 크로스플랫폼 개발자—첫 번째 또는 세 번째—는 ExecuTorch 와 XNNPack 를 통해 KleidiAI AI 성능 최적화에 즉시 액세스할 수 있습니다. 결과는? 더 빠른 모델 스타트업, 낮은 지연 시간, 얇은 메모리 발자국—and 코드 통합 장벽 없음. 이전에는 커스텀 튜닝이 필요했던 것은 이제 바로 사용할 준비가 된 turn-key 성능입니다. 이 효율성은 새로운 가능성을 열었습니다—not just 최신 고급 장치뿐만 아니라 훨씬 더 넓은 하드웨어 범위에.

모바일 장치에서 생성형 AI (GenAI) 를 실행할 때, 최신 플래그십 스마트폰에 강력한 CPU, GPU, NPU 가 장착되어 있다는 것을 상상하기 쉽습니다. 하지만 만약 우리가 대규모 언어 모델 (LLM) 을 실행하는 것과 같은 GenAI 경험을 3 년, 4 년 또는 심지어 5 년 된 장치에도 가져올 수 있다고 말씀드리자면 어떨까요? 아니면 Raspberry Pi 5 에도?

아니요, 이것은 이제 더 이상 비전이지만 실용적인 현실입니다. Arm CPUs 에서 2015 년부터 사용 가능한 Arm SDOT CPU 기능 덕분에.

SDOT (Signed Dot Product) 명령어는 Armv8.2 아키텍처 및 이후 CPU 에 도입되어 8 비트 signed integer 벡터의 효율적인 점적 연산을 가능하게 합니다. 다음 이미지는 Arm CPUs 에서 사용할 수 있는 하나의 SDOT 명령어의 동작을 설명합니다:

위와 같이, 이 명령어는 왼쪽 (LHS) 과 오른쪽 (RHS) 벡터 레지스터에서 대응하는 4 개의 int8 요소의 점적으로서 각각 32 비트 정수 출력을 생성합니다.

이 명령어는 Int8 또는 Int4 와 같은 더 낮은 비트 정밀도 포맷을 사용할 때, LLM 의 핵심 계산 작업인 행렬 곱셈 루틴을 가속화하는 데 사용될 수 있습니다. 이러한 연산은 일반적으로 왼쪽 행렬의 개별 행과 오른쪽 행렬의 대응하는 열 사이의 많은 점적 연산을 포함합니다.

SDOT 명령어는 이미 다양한 장치에 걸쳐 광범위하게 지원되어 GenAI 사용 사례가 훨씬 더 큰 스마트폰 대중에게 도달할 수 있는 문을 여었습니다. 오늘 기준으로 Arm CPUs 는 약 30 억 개의 Arm 기반 장치에 포함되어 있으며—대부분의 사용자가 강력한 온디바이스 GenAI 경험을 가능하게 합니다. 사실, 모든 장치가 이 명령어를 지원합니다.

ExecuTorch 덕분에 우리는 이제 Llama 3.2 와 같은 모델을 Android 장치 및 Raspberry Pi 5 와 같은 Edge 장치에서 효율적으로 실행할 수 있습니다.

올해는 Int4 행렬 곱셈 성능을 SDOT 명령어를 활용하여 최적화하는 데 집중했습니다, 목표는