OrbitQuant: 이미지 및 비디오 확산 트랜스포머 (Diffusion Transformers)를 위한 데이터 불가지론적 양자화

요약

OrbitQuant는 이미지 및 비디오 확산 트랜스포머(DiT)를 위한 데이터 불가지론적 양자화 기술을 제안합니다. RPBH 회전을 통해 입력 데이터에 관계없이 안정적인 양자화를 수행하며, 별도의 교정 데이터 없이도 최첨단 PTQ 성능을 달성합니다.

핵심 포인트

• 데이터 불가지론적 방식의 가중치-활성화 양자화 제안
• RPBH 회전을 통해 타임스텝 및 프롬프트 변화에 대응
• FLUX.1, Wan 2.1 등 최신 모델에서 SOTA 성능 기록
• 이미지 모델을 비디오 모델로 모달리티 튜닝 없이 전이 가능
• 생성 품질을 유지하며 W2A4 수준의 저비트 양자화 구현