LLM 추론은 본질적으로 이종적(heterogeneous)이며, 성능 병목 현상은 개별 연산자(operator) 수준까지 추론 단계 전반에 걸쳐 이동합니다. 이러한 점은 일반적으로 prefill/decode 또는 attention/FFN과 같은 고정된 파티션(fixed partitions)을 통해 실행을 전문화된 가속기들로 분해하는 이종 서빙 시스템(heterogeneous serving systems)을 촉발했습니다. 그러나 이러한 접근 방식들은 사전에 파티셔닝 전략을 확정하기 때문에, 다양한 워크로드 및 모델 아키텍처에 적응하는 능력이 제한되며, 신흥 가속기들을 미리 정의된 역할로 강제합니다.
우리는 HELIX를 소개합니다. 이는 vLLM 기반의 소프트웨어 스택으로, 연산자(operator) 수준에서 워크로드 인식 파티션(workload-aware partitions)을 발견하고, 컴파일하며, 이종 가속기들 위로 디스패치합니다. 엔진 초기화 시, HELIX는 프로파일링된 실행 비용, 통신 오버헤드, 장치 역량 및 메모리 제약을 고려하여 실행 지연 시간을 최소화하는 하드웨어별 연산자 배치(operator placements)를 자동으로 결정합니다. 이는 동적 계획법(dynamic programming), 조각별 컴파일(piecewise compilation), 그리고 이종 서브그래프 디스패치(heterogeneous subgraph dispatch)를 결합하여, 미리 정의된 모델 파티션 없이도 부분적인 연산자 커버리지를 가진 가속기가 LLM 추론에 참여할 수 있도록 합니다.
HELIX는 오픈 소스 통합 프레임워크를 제공하여 LLM 추론을 위한 이종 가속기의 탐색, 평가 및 통합을 가능하게 함으로써, 이를 서브그래프 실행기(subgraph executors)로 노출하여 신흥 하드웨어에 대한 진입 장벽을 낮춥니다. H100과 B200 GPU와 같은 신흥 가속기를 결합하는 시스템에서, HELIX는 표준 attention-FFN 분해 방식 대비 밀집형 및 희소형 트랜스포머 모델의 다중 쿼리 디코딩 지연 시간을 최대 3배까지, 그리고 하이브리드 상태 공간 모델의 경우 최대 3.5배까지 개선하는 LLM 파티션을 해결합니다.