선택 또는 재작성: N-Best 가설로부터 생성형 ASR 후편집을 위한 오라클 안내 미세 조정

대규모 언어 모델(LLM)은 언어적 문맥을 활용하여 N-best 가설들을 비교하고 필요할 때 스크립트를 재작성함으로써 음성 인식(ASR) 후편집을 수행할 수 있으며, 이는 보통 인식기 재학습 없이도 WER(Word Error Rate)을 개선합니다. 하지만 프롬프트만 이용한 수정 방식은 취약합니다: Top-1이 정확할 때 과도하게 편집하거나, 참조가 없을 때 환각(hallucinate)을 일으킬 수 있으며, 종종 매우 큰 모델을 필요로 합니다. 본 논문에서는 N-best 리스트를 세 가지 선별된 풀(pool)을 통해 지도 학습으로 변환하는 오라클 안내 미세 조정(oracle-guided fine-tuning) 방식을 제안합니다: 선택을 가르치기 위한 수정 사례(corrections, 리스트에는 존재하지만 Top-1이 아닌 경우), 불필요한 재작성을 억제하기 위한 정규화 사례(regularizers, Top-1이 정확한 경우), 그리고 환각을 억제하기 위한 어려운 음성 부정 사례(hard negatives, 참조가 없는 경우)입니다. 이 데이터로 미세 조정하는 것은 무작위 부분 집합 미세 조정보다 하이브리드 선택 또는 재작성 정책 학습에 더 효과적인 지도를 제공하며, 독점 데이터셋에서는 약 3B 파라미터 규모에서 가장 명확한 성능 향상을 보였지만, CommonVoice에서는 결과가 덜 결정적이었습니다. 이는 공개된 읽기-음성 텍스트가 LLM 사전 학습과 중복되어 진정한 후편집 이득을 가리고 있음을 시사합니다.