dvlt.cu: NVIDIA의 DVLT 3D 트랜스포머 모델을 위해 CUDA/C++로 밑바닥부터 작성한 추론 엔진 (Inference

요약

NVIDIA의 DVLT 3D 트랜스포머 모델을 위해 CUDA와 C++로 밑바닥부터 구현한 경량 추론 엔진입니다. 외부 런타임 의존성 없이 cuBLASLt와 cuTLASS만을 사용하여 단일 5MB 바이너리로 동작합니다.

핵심 포인트

• Python, PyTorch, ONNX 등 외부 런타임 없이 독립 실행 가능
• cuBLASLt 및 cuTLASS를 활용한 고성능 CUDA 구현
• mmap 방식의 bf16 가중치 로딩 및 정적 차원 지원
• 설치 없이 HTML 뷰어로 포인트 클라우드 및 카메라 포즈 시각화 가능