CoreML은 빠른가? PyTorch Mobile과 추론 시간 비교

#비교해봤습니다

#CoreML로 변환할 수 없는 모델도 iOS에서 실행하고 싶다

PyTorch로 작성된 모델 중에는 CoreMLTool이 지원하지 않는 연산(operation) 때문에 CoreML로 변환하기 어려운 것도 있을 것입니다.

그럴 때 TorchScript를 iOS에서 실행함으로써, iOS에서 모델을 구동할 수 있습니다.

CoreML은 Neural Engine을 사용할 수 있고 기기에 최적화되어 있는 것 같지만, 실제 실행 속도는 얼마나 다를까요?

#Yolov5로 비교

PyTorch Mobile에서는 이것을 사용합니다.
CoreML에서는 이것을 사용합니다.

이미지는 기사 첫 번째 이미지입니다.

입력 이미지 리사이즈부터 NMS 처리까지의 시간을 측정했습니다.

#결과

torch:

0.91초

coreml:

0.23초

역시 빠른 CoreML이네요.

다만, CoreML은 초기화에 몇 초가 걸리지만, torchScript는 거의 걸리지 않습니다.

또한, torch도 1초 이하로 추론을 할 수 있습니다.

처리 속도가 민감하게 요구되지 않는 케이스에서는, CoreML 변환이 어려운 모델을 torchMobile로 실행하는 것도 선택지가 될 수 있지 않을까요?

🐣

프리랜서 엔지니어입니다.

업무 상담은 여기로
rockyshikoku@gmail.com

Core ML이나 ARKit을 사용한 앱을 만들고 있습니다.

기계 학습/AR 관련 정보를 발신하고 있습니다.

Discussion