Vision Transformers (ViTs)는 높은 정확도를 달성하지만 높은 추론 지연 시간 (inference latency)을 초래합니다. 반구조적 (Semi-structured) N:M 희소성 (sparsity)은 연산 비용을 줄일 수 있지만, 이론적인 절감 효과가 현대 GPU에서 비례하는 엔드 투 엔드 (end-to-end) 속도 향상으로 이어지지 못하는 경우가 많습니다. 이러한 불일치는 배포 지연 시간이 연산 감소뿐만 아니라 희소성 하에서의 실행 규칙성 (execution regularity) 및 하드웨어 스케줄링 (hardware scheduling)에도 의존하기 때문에 발생합니다. 따라서 실질적인 가속을 달성하려면 희소 실행 (sparse execution)과 희소성 구성 (sparsity configuration) 전반에 걸친 조율된 설계가 필요합니다. 이를 위해 우리는 N:M 희소 ViT 추론을 위한 하드웨어-소프트웨어 공동 설계 (hardware-software co-design) 프레임워크를 제안합니다. 하드웨어 측면에서는, 희소 GEMM을 마이크로-밀집 (micro-dense) 및 Tensor-Core 정렬 데이터 흐름 (dataflow)으로 재구성하고, 활용도를 유지하기 위해 추론 인식 적응형 병렬성 (inference-aware adaptive parallelism)을 사용하는 N:M 희소 CUDA 커널인 MD-SpMM을 설계합니다. 소프트웨어 측면에서는, 조기 수렴을 방지하고 배포 인식 희소성 할당 (deployment-aware sparsity allocation)을 가능하게 하는 제약 조건 완화 (constraint relaxation)를 포함한 3단계 휴리스틱 탐색을 사용하여, 명시적인 엔드 투 엔드 지연 시간 예산 하에서 계층별 희소성 탐색 (layer-wise sparsity search)을 수행합니다. 여러 ViT/Swin 모델 및 GPU 플랫폼에 대한 실험 결과, 이 프레임워크는 유사한 정확도를 유지하면서 2.2배 이상의 지연 시간 속도 향상을 달성하였으며, 동일한 지연 시간 제약 조건 하에서 우수한 정확도를 제공함을 보여줍니다. 소스 코드는 https://github.com/liuganhuo/realizable-nm-sparse-transformer 에서 공개적으로 사용할 수 있습니다.