b8956

요약

이 기술 기사는 GGML 라이브러리의 백엔드(Backend) 기능을 대폭 개선한 내용을 담고 있습니다. 주요 내용은 새로운 연산자 추가(예: `GGML_OP_SET`, `GGML_OP_CUMSUM`), 기존 연산자의 성능 최적화(예: GLU, CROSS_ENTROPY_LOSS), 그리고 여러 버그 수정 및 아키텍처 개선 사항을 포함합니다. 이를 통해 다양한 하드웨어 플랫폼(CPU, GPU, NPU 등)에서 더 빠르고 안정적인 AI 모델 추론 및 학습 환경을 제공하는 것을 목표로 합니다.

핵심 포인트

• 다양한 연산자 추가: `GGML_OP_SET`, `GGML_OP_CUMSUM` 등 새로운 기능을 지원하는 연산자들이 도입되어 모델의 표현력을 확장했습니다.
• 핵심 연산 최적화: GLU, 크로스 엔트로피 손실 함수 계산 등 주요 AI 워크로드에 대해 커널 퓨전 및 알고리즘 개선을 적용하여 성능을 극대화했습니다.
• 메모리 관리 및 그래프 캐시 안정성 강화: `ACL graph cache`의 타입 체크 누락 버그 수정과 인플레이스 연산자 최적화를 통해 시스템 안정성과 정확도를 높였습니다.
• 광범위한 플랫폼 지원 확대: macOS, Linux(다양한 GPU/CPU), Android, Windows 등 거의 모든 주요 운영체제와 아키텍처에 대한 빌드 및 호환성을 확보했습니다.