여러분, vLLM 실행 시 AITER Unified Attention 지원 패치 필요

요약

작성자는 vLLM 환경에서 AITER Unified Attention을 지원하기 위한 패치 개발 및 테스트 과정을 공유하고 있습니다. 특히 R9700s와 MI300X 같은 최신 GPU 아키텍처에서 긴 컨텍스트 길이(64k 토큰 이상)를 처리할 때 발생하는 성능 저하 문제를 집중적으로 다루고 있습니다. AITER 지원을 위해서는 특정 환경 변수 설정과 함께, 하이브리드 아키텍처 모델 사용 시 발생할 수 있는 TILE_SIZE 불일치 같은 기술적 난제들을 해결해야 함을 강조합니다.

핵심 포인트

• vLLM에서 긴 컨텍스트 길이(64k 토큰) 처리 시 GPU 성능 저하 문제가 관찰됨.
• AMD MI300X와 R9700s 등 최신 아키텍처에서 AITER Unified Attention 활성화가 필수적임.
• AITER 지원 패치는 gfx1201 같은 신규 아키텍처를 지원하기 위해 게이트 제거 및 커널 추가 작업이 필요함.
• Qwen3.6과 같은 하이브리드 모델은 TILE_SIZE 불일치 문제로 인해 AITER Unified Attention 사용에 어려움을 겪을 수 있음.
• 현재까지의 테스트 결과, AITER는 FP16/BF16 KV Cache만 지원할 수 있다는 한계가 발견됨.