Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
WAM-Diff2는 자율 주행을 위한 VLA 모델의 계산 지연 시간과 노출 편향 문제를 해결하기 위해 제안된 계층적 증류 프레임워크입니다. 자기회귀(AR) 모델의 추론 능력을 유지하면서 병렬 실행이 가능한 확산(Diffusion) 모델로 변환하여 효율성을 극대화합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Vision-Language-Action (VLA) 모델은 엔드투엔드 (end-to-end) 자율 주행을 위한 유망한 패러다임으로 등장했습니다. 하지만 이러한 모델의 효율적인 배포는 순차적 자기회귀 (autoregressive) 디코딩에서 발생하는 높은 계산 지연 시간 (latency)과 노출 편향 (exposure bias)으로 인해 심각하게 제한됩니다. 반대로, 특화된 확산 정책 (diffusion policies)은 낮은 지연 시간과 병렬 실행을 가능하게 하지만, 이를 처음부터 학습시키면 일반적으로 총체적인 시각-언어적 추론 능력이 부족한 좁은 단일 작업 아키텍처를 생성하게 됩니다. 사전 학습된 자기회귀 범용 모델을 병렬 확산 모델로 성공적으로 변환하면 다중 작업 인지 지능과 실행 효율성을 결합할 수 있지만, 이 전환 과정은 어텐션 패턴의 불일치 (인과적 (causal) 대 양방향 (bidirectional)) 및 상이한 최적화 목표로 인해 엄청난 아키텍처적 과제를 안겨줍니다. 이러한 격차를 해소하기 위해, 우리는 3단계 계층적 증류 (distillation) 전략을 기반으로 하는 다중 작업 이산 확산 (discrete diffusion) VLA 프레임워크인 WAM-Diff2를 소개합니다. 점진적 블록 단위 적응 (block-wise adaptation), 블록 단위 증류 (block-wise distillation), 그리고 모델 단위 교차 스케일 증류 (model-wise cross-scale distillation)를 통해 아키텍처 전환을 구조화함으로써, WAM-Diff2는 기본 모델의 기저 세만틱 (semantic) 토대를 보존하는 동시에 추론을 가속화합니다. 주행 이해, 인지 및 계획 벤치마크에 걸친 광범위한 평가 결과, WAM-Diff2가 노출 편향을 효과적으로 완화하고 자기회귀 베이스라인과 대등한 성능을 달성함을 입증했습니다. 결정적으로, 자기회귀에서 확산 모델로의 전환은 2.8배의 디코딩 속도 향상을 가져오며, FlashInfer 및 CUDA Graphs를 포함한 시스템 수준 최적화와 결합될 경우 최종적으로 15.1배의 가속화를 달성합니다.