PassNet: 그래프 컴파일러 패스 생성을 위한 대규모 언어 모델(LLM) 스케일링
요약
PassNet은 LLM을 활용해 텐서 컴파일러의 최적화 패스를 생성하는 새로운 연구를 제안합니다. 대규모 데이터셋인 PassNet-Dataset과 벤치마크인 PassBench를 통해 LLM이 개별 서브그래프에서 기존 컴파일러 대비 최대 3배의 성능 향상을 달성할 수 있음을 입증했습니다.
핵심 포인트
- 커널 생성을 넘어 컴파일러 패스 생성으로 추상화 수준 격상
- 1.8만 개의 계산 그래프를 포함한 PassNet-Dataset 구축
- 정확성, 안정성, 성능을 통합한 새로운 평가 지표 ES_t 도입
- 소형 모델 미세 조정만으로 프런티어 모델 수준의 성능 근접 가능
TorchInductor와 같은 현대적인 텐서 컴파일러(Tensor Compiler)는 주요 모델에서 상당한 속도 향상을 제공하지만, 롱테일(long-tail) 워크로드에서는 체계적인 성능 한계에 직면해 있습니다. 당사의 프로파일링(Profiling) 결과에 따르면, 실제 환경의 서브그래프(Subgraph) 중 43%가 기본 컴파일 환경에서 엔드투엔드(end-to-end) 속도 저하를 경험합니다. 대규모 언어 모델(LLM)이 자동화된 최적화를 향한 경로를 제시하고 있지만, 기존의 노력은 독립적인 커널 생성(Kernel Generation)에 집중되어 있습니다. 우리는 LLM이 컴파일러 파이프라인(Compiler Pipeline)에 직접 통합되는 구조화된 그래프 변환을 작성하는 '패스 생성(Pass Generation)'이 더 적절한 추상화라고 주장합니다. 우리는 LLM 기반 컴파일러 패스 생성을 위한 최초의 대규모 생태계인 PassNet을 제안하며, 이는 다음으로 구성됩니다: (1) 10만 개의 실제 모델로부터 추출한 1만 8천 개 이상의 고유한 계산 그래프(Computational Graphs)로 구성된 PassNet-Dataset; (2) 오류 인식 속도 점수(Error-aware Speedup Score, $ES_t$) 하에서 평가되는 200개의 선별된 롱테일 퓨저블(Fusible) 태스크(총 2,060개의 서브그래프 포함)로 구성된 PassBench. $ES_t$는 정확성(Correctness), 안정성(Stability), 성능(Performance)을 통합하는 지표이며, 체계적인 LLM 악용(Exploitation)에 대비한 계층적 무결성 방어 기제를 갖추고 있습니다. 실험 결과, PassBench는 변별력이 매우 높으면서도 실제로 아직 포화되지 않았음을 보여줍니다. 가장 뛰어난 프런티어 모델(Frontier Model)조차 총합 측면에서는 TorchInductor보다 37% 뒤처지지만, 개별 서브그래프에서는 LLM이 동일한 컴파일러 대비 최대 3배의 속도 향상을 달성했습니다. 이는 병목 현상이 능력이 아니라 일관성(Consistency)에 있음을 나타냅니다. 단 ~4,000개의 PassNet 궤적(Trajectories)만으로 소형 모델을 미세 조정(Fine-tuning)했을 때 프런티어 모델의 성능에 근접하는 2.67배의 향상을 보였으며, 이는 상당한 발전 여지가 있음을 입증하고 PassNet이 LLM 주도 컴파일러 최적화를 발전시키기 위한 실시간 학습 인프라로서 유효함을 검증합니다. 모든 데이터, 벤치마크 및 도구는 공개적으로 사용할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기