온디바이스 멀티모달 에이전트를 위한 병렬성 기반 가지치기 및 라운드 인지 컨텍스트 재활용

온디바이스(On-device) 멀티모달 에이전트는 두 가지 배포 불일치로 인해 제한을 받습니다. 첫째, 사전 학습된 어텐션 구조가 엣지 가속기(edge accelerator)의 컴퓨트 코어에 균등하게 나누어지지 않아 불규칙한 파티션을 유발할 수 있습니다. 둘째, 표준 접두사 캐싱(prefix caching)은 역사적인 시각 토큰을 영구 KV 캐시(persistent KV cache)에 유지하며, 이 캐시의 용량은 라운드 수에 따라 증가합니다.

우리는 병렬성 정렬 구조적 가지치기(parallelism-aligned structured pruning)와 수명 인식 KV 캐시 재구성(lifetime-aware KV-cache reorganization)을 결합한 PARC를 제시합니다. 모델 수준에서는 첫 번째 차수 테일러 중요도(first-order Taylor importance)와 그룹화된 쿼리 어텐션 인지 선택(grouped-query-attention-aware selection)을 사용하여, 쿼리 대 키/값 비율과 헤드 차원을 유지하면서 어텐션 차원이 목표 코어 수로 나누어지도록 만듭니다. 런타임 시에는 시스템 프롬프트(system prompt), 영구 텍스트 기록(persistent text history), 일시적 시각 관측(transient visual observations)을 수명에 따라 분리하고, 도구 실행 중 텍스트 기록을 업데이트하여 역사적인 이미지가 영구 캐시에서 벗어나고 더 많은 상호작용 라운드가 고정된 예산 내에 들어오도록 합니다.

2,062개의 GUI 액션에서 증분 인터페이스는 정확도 저하를 보이지 않았으며, 태스크 인식 복구 학습(task-aware recovery training)을 통해 액션 유형 정확도 격차와 좌표 적중률(coordinate hit rate)의 98.7%를 원래 수준으로 복원했습니다. 7코어 배포 환경에서 하드웨어 정렬 가지치기(hardware-aligned pruning)는 비전 인코더 지연 시간(vision-encoder latency)을 11.4% 감소시키고, 디코딩 처리량(decoding throughput)을 23.8% 향상시키며, 히프당 최고 사용 메모리(per-heap high-water memory)를 12.7% 낮춥니다. 파라미터 매칭 제어(parameter-matched control)는 이러한 속도 향상이 파라미터 감소보다는 코어 정렬에서 주로 비롯됨을 확인시켜 줍니다.