CUDABeaver: LLM 기반 자동 CUDA 디버깅 벤치마킹

요약

CUDABeaver는 LLM이 CUDA 코드를 수정할 때 단순히 성능을 희생하여 테스트만 통과하는 '퇴행적 수정'을 방지하기 위해 설계된 새로운 디버깅 벤치마크입니다. 실제 실패 사례를 기반으로 손상된 코드와 에러 증거를 제공하며, 성능 보존 여부를 엄격히 평가합니다. 연구 결과, 성능 요구 사항에 따라 LLM의 성공률이 최대 40%까지 차이 날 수 있음을 밝혀냈습니다.

핵심 포인트

• 기존 LLM 평가가 놓치고 있는 '성능 저하를 동반한 코드 단순화' 문제를 지적함
• 실제 실패 워크스페이스를 기반으로 한 213개의 CUDA 디버깅 작업 제공
• 수정 도구, 코퍼스, 프로토콜을 고려한 새로운 지표인 pass@k(M,C,A) 제안
• 성능 보존 요구 사항의 엄격함에 따라 LLM의 디버깅 성공률이 크게 변동됨을 입증