Fuzzy PyTorch: 딥러닝 모델의 신속한 수치적 변동성 평가를 위한 프레임워크

우리는 딥러닝 (DL) 모델의 수치적 변동성 (numerical variability)을 신속하게 평가하기 위한 프레임워크인 Fuzzy PyTorch를 소개합니다. 딥러닝 (DL)이 다양한 작업에 점점 더 많이 적용됨에 따라, 견고하고 신뢰할 수 있는 성능을 보장하기 위해서는 부동 소수점 산술 (floating-point arithmetic)에서 발생하는 변동성을 이해하는 것이 필수적입니다. 이러한 변동성을 평가하는 도구는 확장 가능하고 효율적이어야 하며, 코드 수정을 최소화하면서 기존 프레임워크와 원활하게 통합되어야 합니다. Fuzzy PyTorch는 수치 분석 컴파일러 (numerical analysis compiler)인 Verificarlo와 인터페이스하는 새로운 라이브러리인 '명령어 세트 관리(Instruction Set Management)를 통한 확률적 반올림 (Probabilistic Rounding)'을 통해 PyTorch에 확률적 산술 (stochastic arithmetic)을 통합함으로써 이를 가능하게 합니다. 이 라이브러리는 확률적 반올림 (stochastic rounding) 모드와 새로운 모드인 상하 반올림 (up-down rounding) 모드를 제공합니다. 비교 평가 결과, Fuzzy PyTorch는 모델 성능을 유지하면서 최첨단 도구인 Verrou와 비교했을 때 5배에서 60배의 실행 시간 단축을 달성했습니다. 우리는 또한 1백만 개에서 3억 4,100만 개의 파라미터를 가진 모델을 실행하여 확장성을 입증하였으며, 이를 통해 소규모 및 대규모 딥러닝 (DL) 아키텍처 전반에 걸친 적용 가능성을 확인했습니다. 종합적으로, Fuzzy PyTorch는 딥러닝 (DL)에서의 수치적 변동성을 평가하기 위한 효율적이고 확장 가능하며 실용적인 솔루션을 제공하여, 연구자와 실무자들이 성능이나 계산 효율성을 저해하지 않고 부동 소수점 불확실성 (floating-point uncertainty)을 정량화하고 관리할 수 있도록 합니다.