인컨텍스트 러닝 (In-Context Learning) 시대의 부정 표현에 대한 체계성 재고

부정문 (negated sentences)의 의미를 이해하는 것은 거대 언어 모델 (LLMs) 시대에도 언어 모델들에게 여전히 남아 있는 과제 중 하나입니다. 우리는 행동적 체계성 (behavioral systematicity)과 표현적 체계성 (representational systematicity)이라는 두 가지 관점에서 부정 이해에 관한 LLM의 체계성을 분석합니다. 행동적 체계성의 경우, 우리는 데모 (demonstrations)와 인컨텍스트 러닝 (in-context learning)을 통해 LLM이 문장 내의 부정 표현과 범위 (scope)를 어느 정도 인식할 수 있음을 확인했으나, 완벽한 성능을 달성하는 데에는 실패했습니다. 특히, 모델의 부정 범위 인식 난이도는 출력 형식 (output format)에 따라 달라집니다. 표현적 체계성의 경우, 부정 이해에 필수적인 작업들을 위해 인컨텍스트 예시 (in-context examples)로부터 함수 벡터 (function vectors)를 얼마나 견고하게 구축할 수 있는지 분석합니다. 실험 결과에 따르면, 부정 단서 추출 (negation cue extraction) 작업의 경우 함수 벡터를 구성할 수 있는 반면, 범위를 인식하기 위한 함수 벡터를 추출하는 것은 더 어렵다는 것을 시사합니다.