Vision Transformers (ViTs)는 높은 정확도를 달성하지만, 높은 추론 지연 시간(inference latency)을 유발합니다. 반구조화된 N:M 희소성은 산술 비용(arithmetic cost)을 줄일 수 있지만, 그 이론적 절감이 현대 GPU에서 비례적인 종단 간(end-to-end) 속도 향상으로 이어지지 않는 경우가 많습니다. 이러한 불일치는 배포 지연 시간이 단순히 산술 감소에만 의존하는 것이 아니라 희소성 하에서의 실행 규칙성 및 하드웨어 스케줄링에도 의존하기 때문에 발생합니다. 따라서 실질적인 가속화를 달성하려면 희소 실행과 희소성 구성 전반에 걸친 조정된 설계가 필요합니다. 이를 위해, 우리는 N:M 희소 ViT 추론을 위한 하드웨어-소프트웨어 공동 설계를 제안합니다. 하드웨어 측면에서는, 우리는 희소 GEMM(General Matrix Multiplication)을 마이크로 밀집(micro-dense), Tensor-Core 정렬 데이터 흐름으로 재구성하고 활용률을 유지하기 위해 추론 인식 적응형 병렬성(inference-aware adaptive parallelism)을 사용하는 N:M 희소 CUDA 커널인 MD-SpMM을 설계합니다. 소프트웨어 측면에서는, 우리는 제약 조건 완화(constraint relaxation)를 사용한 3단계 휴리스틱 검색을 통해 명시적인 종단 간 지연 시간 예산 하에 레이어별 희소성 검색을 수행하여 조기 수렴을 방지하고 배포 인식 희소성 할당을 가능하게 합니다. 여러 ViT/Swin 모델과 GPU 플랫폼에서 수행된 실험 결과, 이 프레임워크는 유사한 정확도를 유지하면서 2.2배 이상의 지연 시간 속도 향상을 달성했으며, 동일한 지연 시간 제약 조건 하에서도 우수한 정확도를 제공하는 것으로 나타났습니다. 소스 코드는 https://github.com/liuganhuo/realizable-nm-sparse-transformer에서 공개적으로 이용 가능합니다.