Embedded Arena: 하드웨어 피드백을 통한 반복적 최적화

야생 동물 모니터링 스테이션부터 임상용 웨어러블에 이르기까지, 임베디드 장치(Embedded devices)는 지연 시간(latency), 통신 또는 개인정보 보호 제약으로 인해 로컬 AI 추론(inference)을 필요로 합니다. 이기종 마이크로컨트롤러(MCUs)를 위해 모델을 최적화하려면 정확도를 유지하면서 메모리, 전력 및 온도에 대한 엄격한 물리적 제약을 동시에 충족해야 하며, 이는 오늘날 전문가들에 의해 수동으로 수행되는 다차원적 최적화(multidimensional optimization) 과정입니다. 우리는 LLM 에이전트가 실제 하드웨어 피드백의 안내를 받아 이 복잡한 다회차(multi-turn) 파이프라인을 자율적으로 탐색할 수 있는지 질문하며, 에이전트가 모델과 펌웨어(firmware)를 모두 반복적으로 개선할 수 있는 하드웨어 인 더 루프(hardware-in-the-loop) 에이전트 아레나를 소개합니다. 이 과정에서 에이전트는 실제 하드웨어에서 컴파일(compiling), 플래싱(flashing) 및 측정을 수행하여 폐쇄 루프(closed-loop) 최적화를 가능하게 합니다. Claude Opus 4.7 및 Gemini 3.1 Pro를 포함한 프런티어 모델(Frontier models)은 하드웨어 피드백 없이는 완전히 실패하지만(배포 성공률 0%), 우리의 하드웨어 인 더 루프 정식화는 3회 반복 내에 첫 번째 성공적인 배포를 달성하며 7회 이내에 인간 전문가의 결과를 넘어설 수 있습니다. 이러한 에이전트 기반 공동 최적화(agentic co-optimization)는 비전 모델의 경우 정확도 손실 <3.3%로 250배 압축을, 오디오의 경우 Feature Error Rate(FER) 손실 <6%로 400배 압축을 달성하여, 태양광 에너지 수확(solar harvesting)을 통해 상용 MCU에서 배터리 없는 작동을 가능하게 합니다. 우리는 두 가지 실제 시스템인 엘크(elk) 탐지 카메라 트랩(정확도 96.7%)과 아동 발달 연구를 위한 음성 전사(phonetic-transcription) 웨어러블(FER 8.44%)을 통해 실질적인 영향력을 입증합니다.