Conjugate Compilation: 추측 디코딩을 위한 자체 개선 에이전트 협업 컴파일

요약

본 글은 LLM 서비스 확장 시 효율적인 GPU 자원 활용을 위해 'CONJUGATE COMPILATION'이라는 새로운 컴파일 기법을 제안합니다. 이 방식은 추측 디코딩(Speculative decoding) 과정에서 초안 모델과 타겟 모델의 공유 실행 부분을 하나의 최적화 경계로 재구성하여, 개별 개선으로는 얻기 힘든 성능 향상을 달성했습니다.

핵심 포인트

CONJUGATE COMPILATION: 추측 디코딩을 교차 모델 컴파일 문제로 재정의.
공유 실행(Shared execution) 관점에서 모델들을 공동 최적화하는 것이 핵심.
오퍼랜드 레이아웃 고안으로 GEMM 및 비-GEMM 작업을 위치 기반으로 처리.
NVIDIA GPU에서 기존 대비 최대 1.59배의 속도 향상 달성.

LLM(대규모 언어 모델) 채택이 급증함에 따라, 모델 서비스 규모를 확장하려면 더 많은 GPU를 배치하는 것과 동시에 유휴 상태인 GPU 용량을 활용해야 합니다. 추측 디코딩(Speculative decoding)은 두 가지 모델을 서비스 프로세스에 도입합니다: 작은 초안 모델(draft model)이 토큰을 제안하고, 더 큰 타겟 모델(target model)이 이를 검증하는 방식입니다. 하지만 이 모델들을 개별적으로 컴파일하면, 그들의 공유 실행(shared execution) 부분이 컴파일러의 최적화 경계 밖에 남게 됩니다. 우리는 CONJUGATE COMPILATION을 소개하며, 이는 추측 디코딩을 교차 모델 컴파일 문제로 재구성하고, 각 모델을 독립적으로 다루기보다 공유 실행 내에서 초안 모델과 타겟 모델을 공동으로 최적화합니다. 우리의 핵심 통찰은 교차 모델 컴파일이 그것이 생성하는 위치 기반의 공유 실행 성능 측정치에 의해 정보가 제공되어야 한다는 것입니다: 고립된 상태에서 커널(kernel)을 개선하는 것이, 그들이 함께 실행될 때 모델을 반드시 개선하지는 못할 수 있습니다. 교차 모델 기회를 확장하기 위해, 우리는 두 모델의 블록들을 공통 타일 내에 번갈아 배치하는 오퍼랜드 레이아웃(operand layouts)을 고안하여, GEMM 및 비-GEMM 작업을 위치 기반으로 함께 처리하면서도 수학적 일관성을 유지합니다. 우리는 LLM이 컴파일러와 GPU 실행을 환경으로 사용하여 교차 모델 최적화 계획을 편집하는 자체 개선 에이전트 검색 시스템을 통해 CONJUGATE COMPILATION을 구현했습니다. 제안된 각 계획은 그 위치 기반 공유 실행을 통해 컴파일 및 평가되며, 여기서 측정된 점수는 커널 수준의 판정(verdicts) 및 컴파일러 피드백과 함께 후속 제안에 정보를 제공하고, 몬테카를로 트리 검색(Monte Carlo tree search)이 보상을 축적하여 탐색을 안내합니다. NVIDIA B300 및 RTX 5090 GPU에서 진행된 여섯 가지 단일 GPU 추측 디코딩 구성 전반에 걸쳐, CONJUGATE COMPILATION은 기존 실행 대비 라운드당 기하 평균 속도 향상(geometric-mean per-round speedup)을 1.37배 달성했습니다. 인터리브된 커널은 이 속도 향상을 1.45배로 높였으며, 최적의 경우에는 1.59배에 도달합니다. CONJUGATE COMPILATION은 또한 RTX 5090에서 평균 GPU 활용도를 1.46배, B300에서 1.50배 개선했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

Conjugate Compilation: 추측 디코딩을 위한 자체 개선 에이전트 협업 컴파일

요약

핵심 포인트

댓글