Dango: 제2언어 습득 (SLA) 연구를 위한 엄격한 L1 전용 대규모 언어 모델 (LLM)

요약

제2언어 습득(SLA) 연구를 위해 설계된 1.8B 규모의 L1 전용 LLM인 Dango를 소개합니다. L1 사전 학습 데이터 내 L2 오염 문제를 해결하기 위한 필터링 기법을 제안하며, 인간과 유사한 L2 생성 패턴을 구현했습니다.

핵심 포인트

• L1-to-L2 전이 연구를 위한 1.8B 규모의 전용 모델 개발
• 사전 학습 데이터 내 L2 오염 문제를 해결하는 필터링 방법론 제안
• LLM 생성 L2 학습 데이터를 활용한 미세 조정(Fine-tuning) 수행
• 기존 다국어 모델 대비 인간과 유사한 L2 생성 패턴 입증
• 재현 가능한 연구를 위해 모델, 데이터, 코드 공개