AI_LectureNote: 한-영 의학 강의의 영문 표기 렌더링 및 의미론적 드리프트(Semantic Drift)에 관한 사후 ASR
요약
한-영 의학 강의를 위한 사후 ASR 워크플로우인 AI_LectureNote의 성능을 평가한 연구입니다. Whisper와 GPT-4o를 활용해 의학 용어의 영문 표기 렌더링 성능은 향상되었으나, 의미론적 드리프트와 극성 오류가 발생함을 확인했습니다.
핵심 포인트
- 의학 용어의 영문 표기 렌더링 비율이 사후 처리 후 크게 상승함
- 영문 표기 향상이 반드시 의미론적 충실도를 보장하지는 않음
- 의미론적 드리프트 및 극성 오류(polarity failures) 발생 확인
- 표면적 정확도 외에 용어 일관성 및 의학적 의미 보존 평가의 필요성 제시
AI_LectureNote는 한-영(Korean-English) 의학 강의를 위해 가독성에 중점을 둔 역사적 사후 ASR (Automatic Speech Recognition, 자동 음성 인식) 워크플로우입니다. 이 시스템은 음성-텍스트(speech-to-text) 출력물을 학습용 전사본(transcripts)으로 재작성하며, 한국어 음차 표기 대신 라틴 문자(Latin-script) 의학 용어를 복원합니다. 본 연구에서는 5가지 조건에 걸쳐 저자가 직접 녹음한 4개의 강의를 대상으로 이 워크플로우를 회고적으로 평가합니다. 이 파일럿 연구에서 사후 처리(post-processing)를 적용했을 때, whisper-1 경로에서는 거시적 영문 표기 렌더링(English-script rendering) 비율이 0.39에서 0.71로 상승했으며, 3분 단위로 분할된 gpt-4o-transcribe 출력물에 적용했을 때는 0.26에서 0.65로 상승했습니다. 그러나 영문 표기 렌더링이 반드시 의미론적 충실도(semantic faithfulness)를 보장하는 것은 아니었습니다. 두 가지 사후 처리 조건 모두에서 282개의 참조 문장 중 각각 34개와 36개에서 의미론적 드리프트(semantic drift)가 나타났으며, 101개의 극성 힌트(polarity-cue) 행 중 11개와 13개에서 극성 오류(polarity failures)가 발생했습니다. 기술적 입력값 비교를 통한 기술적 분석 결과, 서로 다른 후보 실패 패턴이 시사되었습니다. 극성 오류 세트는 일반적인 의미론적 드리프트 세트(Jaccard 0.23; 합집합 57개 중 13개 공유)보다 프런트엔드 간에 더 강하게 중첩되었습니다(Jaccard 0.60; 합집합 15개 중 9개 공유). 단일 주석가(single-annotator)가 수행한 이 파일럿 연구는 모집단 비율보다는 구체적인 실패 모드(failure modes)를 기록하며, 표면적 정확도, 용어 표기 렌더링, 청크(chunk) 수준의 표기 일관성, 그리고 의학적 의미 보존을 별도로 평가해야 함을 뒷받침합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기