이 프로젝트는 보관(Archived)되었습니다
Intel은 유지보수, 버그 수정, 신규 릴리스 또는 업데이트를 포함하되 이에 국한되지 않는 본 프로젝트의 개발이나 지원을 제공하거나 보장하지 않습니다.
본 프로젝트에 대한 패치는 더 이상 Intel에서 수락되지 않습니다.
이 프로젝트는 알려진 보안 문제가 있는 것으로 확인되었습니다.
문의: [email protected]
<div align="center">
Intel® Extension for PyTorch*
</div>
단종 계획 (Retirement Plan)
여러분은 이미 저희가 곧 Intel® Extension for PyTorch를 단종(retire)할 계획임을 알고 계실 것입니다. 이는 Intel® Extension for PyTorch 2.8 릴리스 노트와 커뮤니티 티켓 #867에서도 강조되었습니다.
저희는 2020년에 Intel® CPU 및 GPU 플랫폼에서 높은 성능을 쉽게 달성할 수 있도록 공식 PyTorch를 확장하는 목표로 Intel® Extension for PyTorch를 출시했습니다. 수년 동안, 우리는 대부분의 기능과 최적화를 성공적으로 PyTorch* 자체에 상향(upstreamed)시켰습니다. 그 결과, 저희는 Intel® Extension for PyTorch의 활성 개발을 중단했으며 2.8 릴리스 이후 공식 분기별 릴리스를 중단했습니다. 앞으로도 Intel® CPU 및 GPU 플랫폼에서 PyTorch로 강력한 지원과 성능을 제공하는 데 전념하고 있으므로, 직접 PyTorch*를 사용하는 것을 강력히 권장합니다.
파트너와 광범위한 커뮤니티의 원활한 전환을 보장하기 위해 추가 2분기 동안 치명적인 버그 수정 및 보안 패치를 계속 제공할 것입니다. 그 이후에는 유지보수 지속에 대한 확실한 필요가 없는 한, 프로젝트를 지원 종료(End-of-Life)로 표시할 계획입니다. 구체적으로 이는 다음을 의미합니다:
- Intel® Extension for PyTorch*의 메인 브랜치인 CPU (main) 및 GPU (xpu-main)에서 치명적인 버그 수정 및 보안 패치를 계속 제공할 것입니다.
- 공식 분기별 릴리스를 중단했습니다. Intel® Extension for PyTorch*에 대한 릴리스 브랜치 생성이나 공식 바이너리 휠(binary wheels) 배포는 하지 않을 것입니다.
- 해당 프로젝트가 Intel® Extension for PyTorch에 의존하는 경우 종속성을 완전히 제거할 수 있도록, Intel® Extension for PyTorch를 오픈 소스 프로젝트로 2026년 3월 말까지 유지할 것입니다.
지속적인 지원에 감사드립니다! 함께 모멘텀을 이어갑시다!
소개 (Introduction)
CPU 💻main branch | 🌱빠른 시작(Quick Start) | 📖문서화 (Documentations) | 🏃설치(Installation) | 💻LLM 예제 (Example) <br>
GPU 💻main branch | 🌱Quick Start | 📖문서(Documentations) | 🏃설치(Installation) | 💻LLM 예제<br>
Intel® Extension for PyTorch는 최신 기능 및 최적화를 통해 PyTorch를 확장하여 Intel 하드웨어에서 추가적인 성능 향상을 제공합니다. 이 최적화는 Intel CPU의 Intel® Advanced Vector Extensions 512 (Intel® AVX-512) 벡터 신경망 명령어(Vector Neural Network Instructions, VNNI) 및 Intel® Advanced Matrix Extensions (Intel® AMX), 그리고 Intel 디스크리트 GPU의 Intel X<sup>e</sup> Matrix Extensions (XMX) AI 엔진을 활용합니다. 더욱이, Intel® Extension for PyTorch는 PyTorch xpu 장치를 통해 Intel 디스크리트 GPU에 대한 쉬운 GPU 가속 기능을 제공합니다.
ipex.llm - 대규모 언어 모델(LLM) 최적화
현재 기술 환경에서 생성형 AI(GenAI) 워크로드와 모델은 광범위한 주목과 인기를 얻었습니다. 대규모 언어 모델(LLM)은 이러한 GenAI 애플리케이션을 구동하는 주요 모델로 부상했습니다. 2.1.0 버전부터 특정 LLM 모델에 대한 최적화가 Intel® Extension for PyTorch*에 도입되었습니다. 자세한 내용은 LLM 최적화를 확인하십시오.
최적화된 모델 목록
저희는 Llama 시리즈, Qwen 시리즈, Phi-3/Phi-4 시리즈와 같은 가장 주목할 만한 오픈 소스 모델과 놀라운 고품질 추론 모델인 DeepSeek-R1을 포함하여 오랜 기간 동안 다양한 LLM을 지원해 왔습니다.
| MODEL FAMILY | MODEL NAME (Huggingface hub) | FP32 | BF16 | Weight only quantization INT8 | Weight only quantization INT4 |
|---|
| LLAMA | meta-llama/Llama-2-7b-hf | ✅ | ✅ | ✅ | ✅ |
| ... | | | | | |
| 참고: 위에 검증된 모델들(LLAMA 패밀리의 "codellama/CodeLlama-7b-hf"와 같은 다른 모델 포함)은 간접 접근 KV 캐시(indirect access KV cache), 융합된 ROPE(fused ROPE), 맞춤형 선형 커널(customized linear kernels)과 같은 모든 최적화가 잘 지원됩니다. | | | | | |
| 현재 테이블에 있는 다양한 데이터 유형의 모델들을 더 잘 지원하기 위해 작업 중입니다. 또한, 향후 더 많은 모델이 최적화될 예정입니다. | | | | | |
또한, Intel® Extension for PyTorch*는 릴리스 2.3.0부터 모듈 레벨 최적화 API(프로토타입 기능)를 도입했습니다.
이 기능은 여러 일반적으로 사용되는 LLM 모듈 및 니치하거나 맞춤형 LLM의 최적화를 위한 기능을 제공합니다.
사용자 자신의 LLM을 어떻게 최적화하고 더 나은 성능을 달성하는지 더 잘 이해하려면 LLM 모듈 레벨 최적화 실습을 읽어보십시오.
위에 언급된 모델들은 사용자가 모델과 관련된 Intel 기술 솔루션의 성능을 검토하고 평가할 수 있도록 의도되었습니다.
컴퓨터 모델의 정확도는 훈련에 사용된 데이터와 배포 후 모델이 접하는 데이터 간의 관계에 따라 결정됩니다.
모델은 프로덕션 애플리케이션에 사용하기에 충분하지 않을 수도 있는 데이터셋으로 테스트되었습니다.
따라서, 해당 모델은 강력한 기반 역할을 할 수 있지만, Intel은 그러한 모델들이 특정 배포 환경에서 접할 가능성이 있는 데이터에 대해 테스트할 것을 권장하고 요청합니다.
인텔은 인권을 존중하고 인권에 부정적인 영향을 야기하거나 기여하는 것을 방지하기 위해 노력합니다. 인텔의 글로벌 인권 원칙을 참조하십시오. 인텔의 제품과 소프트웨어는 인권에 부정적인 영향을 야기하거나 이에 기여하지 않는 애플리케이션에서만 사용되도록 의도되었습니다.
지원(Support)
팀은 GitHub 이슈를 사용하여 버그 및 개선 요청을 추적합니다. 제안이나 버그 보고서를 제출하기 전에, 해당 문제가 이미 보고되었는지 확인하려면 기존의 GitHub 이슈를 검색하십시오.
라이선스(License)
Apache License, 버전 2.0. LICENSE 파일에서 확인할 수 있습니다.
보안(Security)
잠재적인 보안 문제나 취약점 신고 방법에 대한 정보는 인텔의 보안 센터를 참조하십시오.
또한 참고: 보안 정책