TensorRT for RTX는 검증된 NVIDIA TensorRT 추론 라이브러리의 성능을 기반으로 하며, 데스크톱, 노트북 및 워크스테이션의 NVIDIA RTX GPU에 AI 모델 배포를 간소화합니다.

TensorRT for RTX는 Turing부터 Blackwell 세대까지 NVIDIA RTX GPU를 대상으로 하는 애플리케이션에서 NVIDIA TensorRT의 드롭인(drop-in) 대체품입니다. 이 라이브러리는 런타임에 Just-In-Time (JIT) 최적화기(optimizer)를 도입하여 최종 사용자의 RTX 가속 PC에서 30초 이내에 개선된 추론 엔진을 직접 컴파일합니다. 이를 통해 길었던 사전 컴파일 단계가 필요 없어지고, 빠른 엔진 생성, 향상된 애플리케이션 포팅성, 그리고 최첨단 추론 성능이 가능해집니다. 경량 애플리케이션 통합 및 메모리가 제한된 환경에서의 배포를 지원하기 위해 TensorRT for RTX는 200MB 미만으로 작습니다. TensorRT for RTX는 이미지 처리, 음성 합성, 생성형 AI와 같은 실시간적이고 반응성이 뛰어난 AI 애플리케이션을 일반 소비자급 장치에서도 실용적이고 성능 좋게 만듭니다.

TensorRT-RTX 기능, 소프트웨어 개선 사항 및 릴리스 업데이트에 대한 자세한 정보는 공식 개발자 문서를 참조하십시오. 최신 TensorRT-RTX SDK를 받으려면 개발자 다운로드 페이지를 방문하고 설치 가이드를 따르십시오.

이 리포지토리는 TensorRT-RTX SDK와 함께 제공되는 오픈 소스 구성 요소를 포함합니다. 기여하고자 하시면, 당사의 기여 가이드를 검토해 주시기 바랍니다.