인과 언어 모델링(CLM) 우회 경로가 인코더 연속 사전 학습을 개선한다

요약

본 논문은 인코더를 새로운 도메인에 적응시킬 때, 표준적인 마스크드 언어 모델링(MLM) 연속 사전 학습 방식 대신 '인과 언어 모델링(CLM) 우회 경로'를 사용하는 것이 다운스트림 성능을 향상시킨다는 것을 보여줍니다. 특히 생의학 텍스트 도메인에서 ModernBERT와 같은 인코더에 이 방법을 적용했을 때, MLM 기준선 대비 상당한 성능 개선(+1.2-2.8pp 등)을 달성했습니다. 연구 결과는 CLM 단계가 낮은 트랜스포머 레이어(0~7)에 큰 영향을 미치며, 중간 레이어를 고정하는 것이 이러한 이점을 유지하는 데 중요함을 밝혀냈습니다.

핵심 포인트

• 인코더 도메인 적응 시, MLM 연속 사전 학습보다 CLM 우회 경로가 더 높은 다운스트림 성능을 제공한다.
• 생의학 텍스트와 같은 특정 도메인에서 이 방법은 기존 MLM 방식 대비 상당한 성능 향상(예: +1.2-2.8pp)을 입증했다.
• 성능 개선 효과는 모델의 낮은 트랜스포머 레이어에 CLM이 큰 영향을 미치기 때문이며, 중간 레이어를 고정할 때 이점을 유지한다.
• 제안된 방법론과 학습된 생의학 인코더(ModernCamemBERT-bio, ModernBERT-bio)를 공개하여 연구 커뮤니티에 기여했다.