Python의 이면: AI를 구동하는 언어들

Python은 AI 개발을 지배하고 있지만, PyTorch나 NumPy와 같은 프레임워크 이면의 수치 연산은 C, C++, 또는 Rust에서 실행됩니다. 개발자가 이러한 라이브러리 없이 알고리즘을 구현해야 할 때 — 라이브러리가 존재하지 않거나, 대상 시스템의 리소스가 제한적이거나, 새로운 시스템을 구축 중인 경우 — 어떤 언어를 선택해야 할까요? 본 논문은 이 질문에 대해 경험적으로 답합니다. 데이터 마이닝 (k-means), 머신러닝 (k-NN), 신경망 (backpropagation을 포함한 MLP), 계산 지능 (genetic algorithm), 그리고 퍼지 시스템 (Mamdani inference)을 다루는 5가지 알고리즘을 Python, C, C++, Rust, Go, Julia로 밑바닥부터(from scratch) 구현했습니다. 모든 구현체는 공통된 의사 난수 생성기(pseudo-random generator)를 공유하고, 동일한 입력을 소비하며, 비트 단위로 동일한(bit-identical) 출력을 생성하므로, 측정된 모든 차이는 연산이 아닌 언어를 반영합니다. 세 가지 성능 계층이 나타납니다: C와 C++은 사실상 동등하며, Rust는 이들보다 9%(기하 평균) 뒤처집니다. Julia는 C보다 3.3배, Go보다 5.0배 느리게 실행됩니다. Python은 315배 느립니다. 메모리는 다른 이야기를 들려줍니다. Julia의 JIT 런타임은 작업 부하와 관계없이 약 224 MiB의 고정된 점유율(footprint)을 갖는 반면, C, C++, Rust는 6 MiB 미만을 유지합니다. 결정적으로, 순위는 안정적이지 않습니다: Go의 속도 저하는 k-NN에서의 2.6배에서 k-means에서의 8.0배까지 요동치며, 이는 작업 부하의 특성이 언어의 위치를 한 단계(tier) 전체를 바꿀 수 있음을 보여줍니다. 이 결과는 AI 시스템에서 구현 언어를 선택하기 위한 작업 부하별 구체적인 가이드를 제공합니다.