PopPy: Python Compound AI 애플리케이션에서의 병렬성 기회적 활용

Python과 같은 범용 프로그래밍 언어를 사용하여 ML 모델 호출을 구성하는 Compound AI 애플리케이션 (Compound AI applications)은 소프트웨어 엔지니어링부터 기업 자동화에 이르기까지 다양한 사용자 대상 작업에 널리 사용되고 있으며, 이로 인해 엔드 투 엔드 지연 시간 (end-to-end latency)이 중요한 병목 현상이 되고 있습니다. 전통적인 애플리케이션과 달리, 실행 시간은 외부 컴포넌트 (external components)에 의해 지배되는데, 이는 최적화 컴파일러 (optimizing compilers)와 같은 전통적인 언어 최적화 시스템으로는 처리할 수 없습니다. 이 문제를 해결하기 위해, 우리는 Compound AI 애플리케이션에서 사용되는 것들을 포함하여, 이러한 무거운 외부 컴포넌트를 호출하는 Python 애플리케이션 내에서 병렬화 기회 (parallelization opportunities)를 찾아낼 수 있는 시스템인 PopPy를 개발했습니다. PopPy는 매우 표현력이 풍부한 Python의 일부 조각 (fragment)을 지원하며, 병렬성을 찾아내기 위해 개발자의 입력을 최소한으로 요구합니다. PopPy는 사전 컴파일 (ahead-of-time compiler) 방식과 런타임 (runtime)을 결합하여, Python 애플리케이션에서 병렬성을 추출할 때 발생하는 세 가지 핵심 과제인 언어 복잡성 (language complexity), 동적 디스패치 (dynamic dispatch), 그리고 변수 변이 (variable mutation) 문제를 해결합니다. 실제 Compound AI 애플리케이션 세트에서 PopPy는 순차적 프로그램 의미론 (sequential program semantics)을 유지하면서도, 표준 Python 실행과 비교하여 엔드 투 엔드 실행 시간에서 최대 $6.4 imes$의 속도 향상을 달성했습니다.