지시어 튜닝된 모델(Instruction-Tuned Models)은 인간보다 인간의 구문(Syntax)을 더 많이 국소적으로 재사용한다

요약

LLM이 인간의 대화 방식처럼 상대방의 문법적 특성에 맞추는 '구문 수렴' 현상을 연구했습니다. Llama와 Gemma 모델을 분석한 결과, 지시어 튜닝된 모델이 사전 학습 모델보다 인간의 구문을 더 많이 재사용하며 높은 의미적 유사성을 보임을 확인했습니다.

핵심 포인트

• LLM이 인간처럼 대화 상대의 문법 구조를 모방하는 구문 수렴 현상을 입증
• 지시어 튜닝(Instruction-tuning)이 모델의 구문 및 의미적 유사성을 높임
• 빈도가 낮은 문법 규칙일수록 실제 대 무작위 차이가 더 크게 나타남
• 지시어 튜닝 모델은 사전 학습 모델보다 인간의 응답과 더 높은 의미적 유사성을 보임