디코드 단계 분리가 필요한가?: 미래 모델 및 가속기를 아우르는 분산 처리(Disaggregation) 분석

대규모 언어 모델(LLM) 추론의 경우, 프리필/디코드 분리(P/D disaggregation)는 서로 다른 리소스 요구 사항을 가진 단계를 격리하기 위해 프로덕션 환경에 배포되고 있습니다. 어텐션/피드포워드 네트워크 분리(Attention/feed-forward network disaggregation, AFD)는 디코드를 다시 분할하지만, 통신, 배치 제약 조건 및 또 다른 할당된 풀을 추가합니다. 모델과 가속기 로드맵이 변화함에 따라 역할별 배치가 이러한 비용을 상쇄하는지 여부를 질문합니다. 인프라는 미래의 모델과 하드웨어가 벤치마크되기 전에 확정됩니다. 우리는 서비스 분해(serving decomposition)와 하드웨어 할당을 독립적으로 변경할 수 있는 보정된 모델인 SiliconForge를 제시합니다. 우리는 네 가지 모델 방향, 현재 및 발표된 부품에 기반한 네 가지 가속기 클래스, 그리고 두 개의 패브릭 전반에 걸쳐 P/D와 P/D+AFD를 비교했습니다. 우리는 파이프라인 오버랩과 동일한 전력 예산 규칙을 사용하여 각 설계를 공동 최적화했습니다. 주요 비교 결과는 서비스 수준 목표(SLO) 측면에서 kW당 goodput 면에서 AFD가 견고한 배포 레벨의 이점을 보이지 않는다는 것입니다. 대부분의 명목 추정치는 P/D를 선호합니다. 가장 큰 AFD 우위는 더 효율적인 디코드 풀에서 나오는 것이 아니라, 프리필 복제본을 하나 더 적재할 수 있다는 점에서 나옵니다. AFD는 공동 배치된 전문가 풀이 여러 개의 소규모 스케일업 도메인을 아우르는 KV-heavy(key-value) 모델 방향에서 명목상의 우위를 가집니다. 더 큰 도메인이나 두 설계 모두에 빠른 패브릭을 사용하면 그 우위가 약화됩니다. 따라서 우리는 분리 자체보다는 프리필 프로비저닝, 디코드 메모리 대역폭, 링크, 그리고 풀의 세분성이 배포를 결정한다는 것을 발견했습니다. 고정된 하드웨어 할당은 모델, 패브릭, 하드웨어 가정 및 목표가 변경됨에 따라 그 이점을 잃을 수 있습니다. 동일한 하드웨어에서 매핑과 풀 크기를 재최적화하면 초기 확정으로 인한 중앙값 정규화 goodput 손실이 36%에서 9%로 줄어듭니다. 우리는 경계 및 하드웨어 선택이 모델 요구 사항을 따를 수 있도록 조정 가능한 매핑과 풀 크기를 권장합니다.