Arc: 말하는 대로 이름과 메타데이터를 사용자 목록에 연결하여 전사하는, 두 번째 모델이 필요 없는 약 70MB의 스트리밍 음성 모델 [p]

저는 Arc-Transcriber를 만들었는데, 이는 ASR-NL을 단일 단계(1-step)로 수행합니다. 매 100ms마다 하나의 모델이 다음 내용과 함께 전사본을 반환합니다:

• 사용자에게 제공하는 목록(명단, 연락처, 제품 이름 등)에 연결된 이름들; 새로운 이름은 "목록에 없음"으로 표시됩니다.
• 값과 함께 숫자가 인식됩니다 (점수, 시계, 돈, 날짜).
• 화자와 역할;
• 음향 및 채널 이벤트 (전화 통화 오디오, 클리핑, 낮은 품질의 오디오 등)
• 발화가 비서에게 직접 전달되었는지 여부.
• 대화 행위(dialog act), 화자 분할(speaker segmentation) 등을 위한 내장 태그. 총 200개 이상의 학습된 결정 헤드(decision heads)를 사용합니다. 일반적으로 ASR, 그다음 NER, 그리고 개체 연결(entity-linking), 그리고 LLM 체인을 거치는 과정이 이 모델 자체의 헤드로 통합되므로, 목록에 대한 실시간 "사실 확인"(fact-checking)이 두 번째 패스가 아닌 스트림 내부에서 이루어집니다. 현재는 두 가지 변형(variant)을 가지고 있습니다. Arc mini (moonshot 사전 학습 인코더 사용)와 Arc-v1 (parakeet 사전 학습 인코더 사용). 가중치: huggingface.co/WhissleAI/arc-v1.1 코드 및 CLI: github.com/WhissleAI/arc_transcriber 저희는 이를 Mac 앱에서 온디바이스(on-device)로 사용합니다. 61k권 이상의 책에 대한 음성 검색은 사용자가 말하는 동안 Arc를 일치하는 제목으로 사전 활성화(prime)합니다. 작동 방식을 보여주는 비디오가 여기 있습니다. /u/Working_Hat5120 작성
  [link] [comments]