서브워드 정규화(Subword Regularization)를 이용한 언어 모델 사전 학습: 저자원 NLP에서의 BPE Dropout에 관한

요약

본 연구는 저자원 NLP 환경에서 사전 학습 단계에 BPE dropout과 같은 서브워드 정규화(Subword Regularization)를 적용하는 것이 성능 향상에 미치는 영향을 조사했습니다. 여러 언어와 태스크에 걸쳐, 확률적 토큰화가 사전 학습 및 파인튜닝 모두에 사용될 때 가장 좋은 결과를 보였습니다. 특히 BPE dropout의 이점은 한쪽 데이터(사전 학습 또는 파인튜닝)만 부족할 때 두드러지며, 이는 모델이 희귀 단어에 대한 더 나은 구성적 표현을 학습하기 때문입니다.

핵심 포인트

• BPE dropout과 같은 서브워드 정규화는 일반적으로 파인튜닝 단계에서 사용되지만, 사전 학습 중 적용하는 것이 저자원 환경의 다운스트림 성능 향상에 효과적일 수 있다.
• 확률적 토큰화(Stochastic Tokenization)를 사전 학습 및 파인튜닝 모두에 적용할 때 가장 좋은 결과를 얻었으며, 이는 세그멘테이션 불일치 문제를 완화한다.
• BPE dropout의 이점은 특히 사전 학습 또는 파인튜닝 데이터 중 하나가 부족한 저자원 환경에서 두드러지게 나타난다.
• 모델이 더 잘 정렬된 세그멘테이션에 노출되는 것이 다운스트림 성능 향상에 기여할 수 있으며, 이는 사전 학습 단계의 확률적 토큰화 덕분일 수 있다.