NeuDecide 공개: WASM 브라우저 데모가 가능한 43MB 오디오-투-툴 모델

안녕하세요, Neuphonic 팀입니다. 저희는 NeuDecide를 Apache 2.0 라이선스 하에 오픈 소싱합니다. 이 모델은 중간 전사(transcription) 단계 없이 오디오와 도구 정의(tool definitions)를 입력받아 인자(arguments)가 포함된 도구 호출(tool call)을 반환합니다. 모델 파일의 총 크기는 43MB이며, 추론(inference)은 단일 CPU 스레드에서 실행됩니다. 브라우저에서 WASM 데모를 사용해 보세요: 프리셋을 선택하거나 직접 도구를 정의하고, 오디오를 녹음하거나 업로드한 다음, 반환된 도구 호출을 검사할 수 있습니다. 데모 링크는 https://i.redd.it/jdj9glx088uh1.gif입니다.

성능: 10개의 도구가 사용 가능한 SLURP의 도구 전용 작업에서 NeuDecide는 전사 과정 없이 음성으로부터 직접 72.4%의 도구 정확도를 달성했습니다. 이는 Nvidia Parakeet + Google FunctionGemma(24.4%) 대비 약 3배, Cactus (Whistle + Needle)(20.7%) 대비 약 3.5배에 해당합니다. https://preview.redd.it/kig4izdl88uh1.jpg?width=3504&format=pjpg&auto=webp&s=6d0de95871aa930161153fb7b30ddbb769aae920

단일 CPU 스레드에서 실행 시 성능:

• MacBook Pro M3: 호출 시간 46ms, 로딩 시간 159ms, 최대 RAM 사용량 149MB.
• Samsung S24+: 호출 시간 82ms, 로딩 시간 267ms, 최대 RAM 사용량 174MB.
• Raspberry Pi 5: 호출 시간 206ms, 로딩 시간 499ms, 최대 RAM 사용량 146MB.

작동 방식: 이 패키지에는 세 가지 ONNX 그래프가 포함되어 있습니다. 오디오 인코더(audio encoder)는 음성을 처리합니다. 도구 인코더(tool encoder)는 오디오 표현을 토큰화된 JSON 도구 정의와 결합합니다. 디코더(decoder)는 캐시된 키와 값을 사용하여 도구 호출 토큰을 하나씩 생성합니다. 도구 목록은 각 요청의 입력이므로, 사용 가능한 동작(actions)을 변경해도 재학습할 필요가 없습니다. https://preview.redd.it/9g6mb03688uh1.jpg?width=3504&format=pjpg&auto=webp&s=9436dc7f96cd66918c7472ae219ad7f78c1974f2

직접 도구로 테스트해 보세요: 이 프로젝트는 제한된 하드웨어에서 음성 제어가 필요한 로봇 공학 파트너와의 작업에서 시작되었습니다. 데모에는 로봇 청소기, 차량 제어 및 스마트 홈을 위한 편집 가능한 프리셋과 함께 자체 도구 정의를 테스트할 수 있는 사용자 지정 옵션이 포함되어 있습니다. 또한 NeuDecide를 Python용으로 패키징하여 사용자가 로컬에서 추론을 실행하고 자신만의 도구 정의로 테스트할 수 있도록 했습니다.

모델을 활용하여 사람들이 쉽게 구축하고 기여할 수 있도록 Apache 2.0 라이선스를 채택했습니다. 이 분야에서 TypeSafe, Cactus 등 다른 분들의 작업을 지켜보는 것이 즐거웠으며, 이번 모델이 유용하게 쓰일 수 있기를 바랍니다. 기술 문서: https://www.neuphonic.com/blog/neudecide Python 패키지: https://github.com/neuphonic/neudecide Hugging Face의 모델: https://huggingface.co/neuphonic/neudecide 사용해 보시고, 여러분이 사용하는 하드웨어 정보, 도구 정의(tool definitions), 그리고 이 모델이 어려움을 겪는 요청 사항 등을 알려주시면 감사하겠습니다. submitted by /u/TeamNeuphonic [link] [comments]