LLM 토큰 확률을 이용한 L2 영어로부터 L1 배경 추론

요약

본 논문은 비원어민 화자의 제2 언어(L2) 산출물로부터 모국어(L1)를 추론하는 Native language identification (NLI) 방법을 제시합니다. LLM의 토큰 확률을 활용하여 후보 L1 접두사별로 점수화하고, 가장 높은 점수를 받은 후보를 예측하는 접근 방식을 제안했습니다.

핵심 포인트

• 토큰 확률 기반 NLI가 기존 프롬프팅 분류 방식보다 성능이 우수함.
• Llama 3.1 8B와 70B 모델을 사용하여 세 가지 데이터셋에서 평가됨.
• 특히 8B 모델에서 토큰 확률 점수화는 직접 분류 대비 큰 개선을 보임.
• 사전 학습된 LLM의 토큰 확률에 L2 산출물로부터 L1 배경 구별 정보가 포함되어 있음.