CUDABeaver: LLM 기반 자동 CUDA 디버깅 벤치마킹

CUDA 프로그램을 디버깅하는 것은 하드웨어 동작, 컴파일러 결정, 메모리 계층 구조(memory hierarchy), 그리고 비동기 실행(asynchronous execution) 사이의 미묘한 상호작용으로 인해 실패가 자주 발생하기 때문에 오랫동안 어려운 과제였습니다. 더 중요한 점은, 과학 계산, 머신러닝 (machine learning), 그래픽스, 그리고 시스템 워크로드 전반에 걸쳐 GPU 사용이 급격히 확장됨에 따라 CUDA 디버깅이 그 어느 때보다 까다로워졌다는 것입니다. 현재의 LLM 기반 CUDA 프로그래밍 평가는 이러한 설정을 크게 놓치고 있습니다. 즉, 모델이 퇴행(degeneration)을 통한 수정을 통해 정답 테스트를 통과할 수 있는데, 이는 원래의 최적화 구조를 포기하고 CUDA 코드를 더 안전하지만 더 느린 프로그램으로 단순화하는 방식입니다. 우리는 LLM 기반 CUDA 생성 과정에서 발생한 실제 실패 워크스페이스를 기반으로 한 CUDA 디버깅 벤치마크인 CUDABEAVER를 소개합니다. 각 작업은 손상된 후보 코드, 네이티브 빌드/테스트 명령, 가공되지 않은 에러 증거(raw error evidence), 그리고 수정 가능한 단일 파일을 제공합니다. CUDABEAVER는 수정 도구(fixer)가 실패한 CUDA 코드를 진정으로 수리하는지, 아니면 단순히 테스트를 통과하는 더 느린 대체물을 찾는지를 평가하며, 실패 카테고리, 디버깅 궤적(debugging trajectory), 정체 모드(stagnation mode), 그리고 성능 보존(performance preservation)에 따라 결과를 보고합니다. 우리는 더 나아가 수정 도구를 M, 코퍼스를 C, 프로토콜 축을 A로 명시하여 프로토콜 조건부 CUDA 디버깅 지표인 pass@k(M,C,A)를 제안합니다. 213개의 작업과 7개의 프런티어 LLM (frontier LLMs)에 대해 이 지표를 사용한 결과, 프로토콜을 인식하는 평가가 CUDA 디버깅 능력에 대해 더 충실한 관점을 제공함을 보여줍니다. 성능 손실 허용 범위가 높을 때는 수정 도구가 훨씬 강력해 보이지만, 성능 요구 사항을 아주 조금만 더 엄격하게 설정해도 측정된 성공률이 급격히 감소하여 점수가 최대 40퍼센트 포인트까지 변동될 수 있습니다.