저정밀도 GPU 커널은 일반적으로 수동으로 선택된 절대 허용 오차(absolute) 및 상대 허용 오차(relative)를 사용하여 참조 값과 비교 테스트됩니다. 합법적인 수치적 오류는 입력값, 형식 및 정밀도 계획에 따라 달라지므로, 고정된 허용 오차를 사용하면 잘못된 경보(false alarms)와 놓친 결함(missed faults) 사이의 상충 관계가 발생합니다.
우리는 정밀도 주석이 달린 참조 프로그램으로부터 요소별 허용 영역을 도출하는 numoracle을 제시합니다. 이 계산기는 공유 반올림 오류(shared rounding errors), 출처 순서가 지정된 곱셈 결과(provenance-ordered products), 블록 스케일 양자화기(block-scaled quantizers), 그리고 보정된 수학 라이브러리 오류를 추적합니다. 반올림 구간 검사(rounding-interval check)는 대칭 경계가 허용할 수 있는 결함이 있는 저장소(faulty stores)를 감지합니다. 신뢰성(Soundness)은 명시적인 반올림, 하드웨어, 도메인 및 구현 가정에 따라 달라지며, 고정 입력 모드는 영 평균 반올림 가정을 제거합니다.
우리는 두 세대의 GPU에서 Liger-Kernel, Unsloth 및 vLLM의 13개 Triton 연산자를 평가했습니다. 주요 캠페인은 GPU당 33,960개의 올바른 커널 및 동작 보존 변형 실행에서 잘못된 경보를 발생시키지 않았습니다. 입력 이동(input shift) 하에서, GPU 캠페인은 잘못된 경보를 기록하지 않은 반면, 조정된 허용 오차는 최대 30%의 올바른 실행을 플래그 지정했으며; 최종 버전 참조 검사는 완전한 유한 범위 인증서가 없는 입력을 식별했습니다.
RTX PRO 6000에서, numoracle은 124개의 유효 변종 중 116개를 제거했지만, 네 가지 고정 기준선(fixed baselines)은 각각 59~83개를 제거했습니다. 400개의 조정된 허용 오차 구성 중, 평가된 모든 Liger 입력 그룹에서 최대 1%의 잘못된 경보를 요구하는 경우, 최대 53개 주요 변종 중 31개만 제거할 수 있었으나, numoracle은 50개를 제거했습니다. 과거 재현(Historical replays)은 일치하는 수정된 제어값들을 거부하지 않으면서 여덟 쌍의 변경 사항에서 정확도 결함(accuracy faults)을 노출했으며, 아홉 번째 변경 사항은 반올림 패리티(rounding parity)에 관한 것입니다.