PassNet: 그래프 컴파일러 패스 생성을 위한 대규모 언어 모델(LLM) 스케일링

요약

PassNet은 LLM을 활용해 텐서 컴파일러의 최적화 패스를 생성하는 새로운 연구를 제안합니다. 대규모 데이터셋인 PassNet-Dataset과 벤치마크인 PassBench를 통해 LLM이 개별 서브그래프에서 기존 컴파일러 대비 최대 3배의 성능 향상을 달성할 수 있음을 입증했습니다.

핵심 포인트

• 커널 생성을 넘어 컴파일러 패스 생성으로 추상화 수준 격상
• 1.8만 개의 계산 그래프를 포함한 PassNet-Dataset 구축
• 정확성, 안정성, 성능을 통합한 새로운 평가 지표 ES_t 도입
• 소형 모델 미세 조정만으로 프런티어 모델 수준의 성능 근접 가능