World Model Hardware Accelerator

요약

본 문서는 Diffusion Transformer의 추론 가속기인 WMHA(World Model Hardware Accelerator)를 소개합니다. 이 장치는 지연 시간 최적화를 목표로 하며, 16x16 이중 점 배열과 온라인 softmax 어텐션 파이프라인을 활용하여 FP8 및 BF16 축약 연산을 스트리밍합니다. SystemVerilog로 구현되어 UVM 환경에서 검증되었으며, 기존 대비 MSE를 크게 감소시키는 성능을 입증했습니다.

핵심 포인트

• WMHA는 Diffusion Transformer의 추론 가속기입니다.
• 지연 시간 최적화에 초점을 맞춘 하드웨어 설계입니다.
• FP8/BF16 축약 연산 및 온라인 softmax 어텐션을 사용합니다.
• SystemVerilog로 구현되었으며 UVM 환경에서 검증되었습니다.