평가 이상의 것: 언어 모델의 담화 부사(Discourse Particle) 민감도 사례 연구

요약

본 연구는 담화 부사('just', 'only')가 언어 모델(LLM)의 대화 맥락 이해에 미치는 영향을 분석했습니다. 행동적 및 기계론적 분석을 통해 LLM이 이러한 부사의 존재를 선호하며, 특히 'just'에 더 민감함을 입증했습니다. 또한 명령어 튜닝이 이 민감도를 높이고, 두 부사 간의 전이 패턴이 비대칭적임을 발견하여 LLM 어휘 표현의 조직 방식을 제시합니다.

핵심 포인트

• LLM은 담화 부사의 존재를 선호하며, 특히 'just'에 더 민감하다.
• 명령어 튜닝(instruction tuning)을 통해 모델의 부사 민감도를 높일 수 있다.
• 'only'는 'just'로 선택적으로 전이되지만, 모든 'just'는 'only'로 균등하게 전이될 수 있다.
• LLM의 어휘 수준 부사 표현은 의미에 의해 부분적으로 조직되어 있음을 시사한다.