Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 ONNX(Open Neural Network Exchange)를 활용하여 다양한 머신러닝 모델의 추론 속도를 개선하는 방법을 검증했습니다. Keras, PyTorch는 물론 scikit-learn 같은 라이브러리까지 ONNX로 변환하여 성능 향상을 측정했으며, 각 경우에서 상당한 속도 개선 효과(최대 6.7배)를 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Zenn ML의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기스타 나기사입니다.
제목에서 알 수 있듯이, ONNX로 변환했을 때 실제로 얼마나 빨라지는지 궁금해서 직접 측정 기록을 남겨보았습니다.
pip install onnx onnxruntime tf2onnx
임의로 EfficientNetV2S 모델을 사용하여 검증해 보았습니다.
참고로, Keras3 계열에서의 onnx 변환(export)은 다음 링크를 참고했습니다.
from os import environ
environ["KERAS_BACKEND"] = "torch" # Keras의 import 전에 BackEnd를 명시합니다
from time import perf_counter
...
제 환경에서는 처리 속도가 4.9배가 되었습니다.
Saved artifact at './EfficientNetV2S.onnx'.
=== 처리 시간 측정 ===
[[0.00103348 0.00107858 0.00118687 0.0013705 0.00123441 0.0011782
...
참고로, 모델 크기는 그다지 줄어들지 않았습니다.
다음 사이트를 참고했습니다.
pip install torchscript
from time import perf_counter
import numpy as np
import onnxruntime as ort
...
처리 속도는 약 2배 정도 빨라졌습니다.
=== 처리 시간 측정 ===
처리 시간(torch): 1.990e-01
=== 처리 시간 측정 ===
...
참고로, 파일 크기도 그다지 변하지 않았습니다.
다음 자료를 참고했습니다.
pip install skl2onnx
from time import perf_counter
import joblib
import numpy as np
...
약 5.8배 빨랐습니다.
=== 출력 값(scikit-learn SVM) ===
0 [9.64192764e-01 3.52935061e-02 5.13729999e-04]
0 [9.63408146e-01 3.60741117e-02 5.17742222e-04]
...
from time import perf_counter
import joblib
import numpy as np
...
약 6.7배의 속도 향상.
=== 출력 값(scikit-learn GMM) ===
1 [1.008935e-43 1.000000e+00 6.061501e-35]
1 [9.230725e-31 1.000000e+00 2.477747e-28]
...
from time import perf_counter
import joblib
import numpy as np
...
0.4배로, 느려졌습니다.
=== 출력 값(scikit-learn kNN) ===
0 [1. 0. 0.]
...
...
from time import perf_counter
import joblib
import numpy as np
...
5.3배 빨라졌습니다.
=== 출력값(scikit-learn DecisionTree) ===
0.0
...
...
아래를 참고했습니다.
from time import perf_counter
import numpy as np
from xgboost import XGBClassifier # XGBoost 필요용
...
29.4배 빨라졌습니다.
=== 처리 시간 측정 ===
[[0.9907811 0.00514937 0.00406949]]
처리 시간(XGBoost)：1.980e-03
...
참고로, 파일 크기도 작아졌습니다.
