LLM이 생성한 GPU 커널의 정확성과 안전성 증명: Lean 및 VerCors에서의 부동소수점 검증

요약

본 논문은 LLM이 생성한 GPU 커널의 정확성과 안전성을 증명하는 새로운 프레임워크를 제시합니다. 이 시스템은 Lean 기반 검증기(Velvet)와 VerCors를 활용하여, 고수준 사양과 CUDA 커널 간의 의미론적 동등성 및 스레드 안전성을 형식적으로 증명할 수 있습니다.

핵심 포인트

LLM이 생성한 GPU 커널의 정확성과 안전성 검증에 초점
Lean 기반 Velvet를 사용하여 의미론적 동등성 증명 가능
VerCors를 통해 병렬 코드의 스레드 안전성 및 데이터 경합 자유도 확인
부동소수점 값까지 포괄적으로 형식 검증하는 방법 제시

현대 통계 모델 개발은 PyTorch, JAX 또는 TensorFlow와 같은 자동 미분(automatic differentiation) 프레임워크에서 고수준 사양으로 시작되며, 이는 컴파일러에 의해 대상 백엔드로 낮춰지거나 연구 엔지니어에 의해 수동으로 구현됩니다. 본 논문에서는 최첨단 언어 모델이 고수준 벤치마크 사양으로부터 GPU 커널을 생성하는 후자 작업을 정확하게 수행할 수 있는지 연구합니다. 우리는 언어 모델 에이전트가 Lean에 임베딩된 명령형 프로그램의 프로그램 검증기인 Velvet를 사용하여, 명시적인 가정 세요 하에서 고수준 사양과 생성된 CUDA 커널 간의 의미론적 동등성(semantic equivalence)을 증명하는 프레임워크를 소개합니다. 또한 이 시스템은 LLM에게 병렬 코드에 대한 연역 검증기인 VerCors를 사용하여, 생성된 커널의 스레드 안전성(thread safety)과 데이터 경합 자유도(data race freedom)를 증명하도록 요청합니다. LLM이 생성한 GPU 커널의 형식적 검증에 대한 우리의 주요 기여는 Lean 자동화와 언어 모델 안내형 증명 구성의 조합을 통해 부동소수점 값에 대한 광범위한 기본 신경망 빌딩 블록 세트를 검증할 수 있음을 보여주었다는 것입니다. 이는 LLM이 의미론적으로 정확하고 안전한 커널을 구현할 수 있게 합니다. 우리의 프레임워크에서 부동소수점 검증은 컴파일된 코드에 의존하지 않으며 항상 Lean 커널을 통해 확인됩니다.

AI 자동 생성 콘텐츠

원문 바로가기

LLM이 생성한 GPU 커널의 정확성과 안전성 증명: Lean 및 VerCors에서의 부동소수점 검증

요약

핵심 포인트

댓글