화자 분리(Diarization) 및 타임스탬프 지원을 위한 Cohere Transcribe 파인튜닝

안녕하세요.

짧게 말씀드리겠습니다:
Cohere-transcribe는 현재 최고의 오픈 소스 음성-텍스트 변환 (Speech-to-Text, STT) 모델입니다 (아마도 다른 독점 모델들보다 더 나을 수도 있습니다).

하지만 토크나이저 (Tokenizer)에 관련 토큰이 있음에도 불구하고, 화자 분리 (Diarization, 화자 식별) 및 타임스탬프 (Timestamps)를 지원하지 않습니다.

그래서 저는 이를 지원하도록 모델을 학습시켰습니다. 표준 타임스탬프 표준을 따릅니다.

이제 출력 결과는 다음과 같습니다:

<|spltoken0|><|t:0.0|> Welcome back. <|t:1.5|><|spltoken1|><|t:1.5|> Thanks. <|t:2.4|>

이는 쉽게 파싱 (Parsing) 가능한 형식입니다.

타임스탬프는 평균적으로 0.097초 이내로 정확하며, 90%는 0.006초 이내의 오차를 보입니다.

이 모델은 30초당 최대 4명의 화자를 지원하며, diarize_long.py 스크립트를 사용하면 최대 32명까지 정확하게 식별할 수 있습니다.

huggingface에서 무료로 이용 가능합니다.

즐겁게 사용하세요!