철자 인식 오류 분석: 신경망 기반 일본어 형태론적 생성의 철자 인식 오류 분석

요약

본 연구는 히라가나를 단순 전사 매체가 아닌 형태음운론적 구분을 인코딩하는 표현 체계로 보고, 일본어 과거 시제 생성 모델의 철자 인식 오류를 분석합니다. 시퀀스 투 시퀀스 아키텍처를 평가한 결과, 높은 정확도에도 불구하고 촉음(gemination) 관련 오류 등 언어학적으로 해석 가능한 체계적 오류가 발견되었습니다. 이를 통해 형태론적으로 복잡한 언어의 신경망 일반화를 이해하기 위해서는 철자 인식 기반의 평가가 필수적임을 강조합니다.

핵심 포인트

• 히라가나를 모델의 일반화에 영향을 미치는 형태음운론적 표현 체계로 정의함
• 7가지 주요 실패 모드를 포함하는 간결한 오류 분류 체계(error taxonomy) 도입
• 오류의 75-80%가 촉음(gemination) 관련 오류이며, 특히 어간이 모음 'e'로 끝나는 경우에 집중됨
• 오류 패턴이 아키텍처와 랜덤 시드에 관계없이 일관되게 나타나며, 이는 철자 표현과 형태 구조 간의 견고한 상호작용을 시사함
• 신경망의 일반화 능력을 정확히 측정하기 위해 철자 인식 기반 평가(orthography-aware evaluation)의 필요성 제기