Prefill-Decode 분리(Disaggregation)를 넘어: 동적 연산자 스케줄링을 통한 이기종 플랫폼용 LLM 추론 분석

요약

LLM 추론 성능을 최적화하기 위해 연산자 스케줄링과 가중치 레이아웃을 공동 최적화하는 DOPS 프레임워크를 제안합니다. NPU와 PIM 등 이기종 하드웨어 환경에서 Prefill-Decode 분리 방식보다 뛰어난 속도 향상을 입증했습니다.

핵심 포인트

• 동적 연산자 스케줄링(DOPS)을 통한 LLM 추론 최적화
• Bifocal 스케줄러를 통한 연산자-장치 배치 최적화
• 메모리 제약 하의 효율적인 가중치 레이아웃 선택(WLA)
• NPU 및 PIM 결합 이기종 시스템에서 최대 2.23배 속도 향상