EngineAgent: 추론 스택 계층 인식 및 하드웨어 능력을 활용한 온디바이스 LLM 추론 엔진 에이전팅

빠르게 진화하는 LLM 아키텍처와 이종(heterogeneous) 모바일 하드웨어는 온디바이스 추론 엔진에서 새로운 모델을 지원하는 것을 반복적이고 비용이 많이 드는 시스템 과제로 만듭니다. 각 모델은 변환(conversion), 그래프 구성(graph construction), 연산자(operators), 그리고 하드웨어 백엔드를 가로지르는 조정된 변경 사항을 필요로 할 수 있습니다. 기존의 코딩 에이전트들은 이러한 계층 간 의존성(cross-layer dependencies)을 놓치기 쉽고, 호스트-디바이스 실행 경로 전반에 걸쳐 실패를 진단하는 데 어려움을 겪습니다. 우리는 온디바이스 LLM 모델 활성화 자동화를 위한 에이전트 시스템인 EngineAgent를 제시합니다. 이 시스템의 핵심 통찰은 재사용 가능한 엔진 및 하드웨어 지식을 모델별 구현과 분리하는 것입니다. 활성화(enablement) 전에, EngineAgent는 엔진 추상화 계층과 계층 간 의존성을 포착하는 계층 인식 엔진 인덱스(hierarchy-aware engine index)를 구성하고, 이미 지원되는 모델을 사용하여 백엔드별 빌드, 실행 및 디버깅 워크플로우를 사전 검증합니다. 각 새로운 모델에 대해, 빌더(builder)는 이 지식을 활용하여 계층 간 변경 사항을 조정하며, 감사자(auditor)는 구현 완성도를 확인하고 장치 측 검증(device-side validation)을 통해 반복적인 디버깅을 수행합니다. CPU, GPU, NPU를 아우르는 세 가지 모바일 LLM과 네 쌍의 엔진-백엔드 조합에 걸친 12가지 작업에서, EngineAgent는 두 개의 기반 LLM 중 하나를 사용하여 엔드투엔드 성공률 75%를 달성했으며, 이는 가장 강력한 코딩 에이전트 기준선(baseline) 대비 현저히 높은 수치입니다. 성공을 위해서는 컴파일, 온디바이스 실행, 그리고 참조 구현과의 출력 로짓 일치성(output-logit agreement)이 요구됩니다. 또한 EngineAgent는 동일한 기반 LLM을 사용하는 기존 기준선 대비 평균 작업당 시간과 모델-API 비용을 절감합니다.