Oído: 신경 가속기 없는 $5 마이크로컨트롤러에서의 개방형 어휘 음성 인식

실제 환경에서 저가형 마이크로컨트롤러의 음성 인식은 키워드 스포팅(keyword spotting)이나 고정된 명령어 목록으로 제한되는 경우가 많습니다. 저희는 Oído를 발표합니다. 이 추론 엔진은 ESP32-S3 (240 MHz 듀얼 코어 Xtensa LX7, 512 KB SRAM, 8 MB PSRAM, 16 MB 플래시, 신경 가속기 없음)에서 개방형 어휘(open-vocabulary) 영어 음성 인식을 완전히 실행합니다. Oído는 13M 파라미터의 Conformer-CTC 모델을 int8 가중치, 프레임별 동적 int8 활성화 및 int8 어텐션으로 온칩 SIMD 명령어를 사용하여 실행하며, 플래시와 PSRAM 대역폭을 중심으로 설계된 스케줄을 사용합니다. LibriSpeech test-clean/test-other 테스트에서 장치 내 산술 연산은 3.70%/8.23%의 단어 오류율(WER)에 도달했으며, 이는 전체 정밀도 대비 0.12 포인트 이내이며, 온칩 1.3M 파라미터 언어 모델을 사용했을 경우 각각 3.33%/7.15%입니다. 트랜스듀서 헤드(transducer head)는 2.99%/6.67%를 달성했으며, int4 변형은 8.3 MB에 들어갑니다. 이는 동일한 칩에서 제조사 인식기보다 2.3-2.8배 적은 오류이며, 노트북의 전체 정밀도 Whisper tiny.en 및 Moonshine tiny보다 적습니다. 실제 노이즈와 잔향 환경에서도 마찬가지입니다. 물리적 보드에서 측정했을 때, 펌웨어는 한 코어에서 오디오 지속 시간의 1.97배로 실행되며, 전사된 내용은 명령어에 정확한 에뮬레이터와 동일합니다: 정확하지만 아직 실시간은 아닙니다 (4초 명령어가 끝난 후 약 8.7초 후에 전사됨). 두 코어 스케줄은 실리콘에서 잘못된 결과를 보여 비활성화되었습니다. 스트리밍 변형은 화자가 말하는 동안 부분적인 텍스트를 보여주며, 최종 텍스트는 3.6-10.6초 클립(발화 모드에서는 7.2-22.4초)이 끝난 후 각각 4.1-11.1초 후에 나타나며, WER은 4.86%/11.03%입니다. 스페인어 모델은 다국어 Whisper tiny보다 34-60% 적은 오류를 발생시킵니다. 코드와 모델이 공개되었습니다.