CUDA 프로그램을 디버깅하는 것은 하드웨어 동작, 컴파일러 결정, 메모리 계층 구조(memory hierarchy), 그리고 비동기 실행(asynchronous execution) 사이의 미묘한 상호작용으로 인해 실패가 자주 발생하기 때문에 오랫동안 어려운 과제였습니다. 더 중요한 점은, 과학 계산, 머신러닝 (machine learning), 그래픽스, 그리고 시스템 워크로드 전반에 걸쳐 GPU 사용이 급격히 확장됨에 따라 CUDA 디버깅이 그 어느 때보다 까다로워졌다는 것입니다. 현재의 LLM 기반 CUDA 프로그래밍 평가는 이러한 설정을 크게 놓치고 있습니다. 즉, 모델이 퇴행(degeneration)을 통한 수정을 통해 정답 테스트를 통과할 수 있는데, 이는 원래의 최적화 구조를 포기하고 CUDA 코드를 더 안전하지만 더 느린 프로그램으로 단순화하는 방식입니다. 우리는 LLM 기반 CUDA 생성 과정에서 발생한 실제 실패 워크스페이스를 기반으로 한 CUDA 디버깅 벤치마크인 CUDABEAVER를 소개합니다. 각 작업은 손상된 후보 코드, 네이티브 빌드/테스트 명령, 가공되지 않은 에러 증거(raw error evidence), 그리고 수정 가능한 단일 파일을 제공합니다. CUDABEAVER는 수정 도구(fixer)가 실패한 CUDA 코드를 진정으로 수리하는지, 아니면 단순히 테스트를 통과하는 더 느린 대체물을 찾는지를 평가하며, 실패 카테고리, 디버깅 궤적(debugging trajectory), 정체 모드(stagnation mode), 그리고 성능 보존(performance preservation)에 따라 결과를 보고합니다. 우리는 더 나아가 수정 도구를 M, 코퍼스를 C, 프로토콜 축을 A로 명시하여 프로토콜 조건부 CUDA 디버깅 지표인 pass@k(M,C,A)를 제안합니다. 213개의 작업과 7개의 프런티어 LLM (frontier LLMs)에 대해 이 지표를 사용한 결과, 프로토콜을 인식하는 평가가 CUDA 디버깅 능력에 대해 더 충실한 관점을 제공함을 보여줍니다. 성능 손실 허용 범위가 높을 때는 수정 도구가 훨씬 강력해 보이지만, 성능 요구 사항을 아주 조금만 더 엄격하게 설정해도 측정된 성공률이 급격히 감소하여 점수가 최대 40퍼센트 포인트까지 변동될 수 있습니다.