로켓 과학만큼이나 쉬운가: 비유적 표현에서의 부정(Negation)을 해석하는 거대 언어 모델(LLM)의 능력 평가

비유적 표현(Figurative language)과 부정(Negation)은 현재의 언어 모델들에게 도전 과제가 되는 두 영역이지만, 두 가지 모두 문어와 구어 전반에서 널리 사용됩니다. 거대 언어 모델(LLMs) 또한 특정 데이터셋에 맞춰 반드시 미세 조정(Tuning)될 수 없는 일상적인 맥락에서 널리 사용됩니다. 따라서 부정과 비유적 표현이 모두 포함된 텍스트를 올바르게 해석하는 LLM의 능력을 이해하는 것이 필수적입니다. 이를 조사하기 위해, 우리는 기존의 비유적 표현 데이터셋에 새로운 주석(Annotation) 세트를 개발하였으며, 해당 데이터셋을 통해 다양한 언어 모델들을 테스트했습니다. 우리는 부정과 비유성이 결합될 때 특별한 어려움이 발생할 수 있으며, 전체적인 성능과 다양한 부정 유형에 따른 성능이 사용된 프롬프트 스타일(Prompt style)에 특히 의존적이라는 것을 발견했습니다.