LLM이 생성한 GPU 커널에서의 정확성 착각 (The Correctness Illusion in LLM-Generated GPU

요약

LLM이 생성한 GPU 커널의 정확성을 검증하는 기존 벤치마크들의 한계를 지적합니다. 고정된 형태와 소규모 샘플을 사용하는 기존 방식이 실제 버그를 놓칠 수 있음을 실험적으로 증명했습니다.

핵심 포인트

• 기존 GPU 커널 벤치마크의 검증 방식(allclose)에 결함이 있음을 발견
• 시드 퍼징을 통해 LLM 스타일의 전사 오류를 모두 포착하는 새로운 프로토콜 제안
• 다양한 GPU 클래스(H100, A100 등)에서 실험 결과의 일관성 확인
• 단일 형태 검증이 LLM 생성 코드의 정확성을 보장하지 못함을 경고