Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 인컨텍스트 러닝(ICL) 환경에서 부정 표현에 대한 행동적 및 표현적 체계성을 분석한 연구입니다. 모델이 부정문의 범위(scope)를 인식하는 데 있어 출력 형식의 영향을 받으며, 특정 작업에 대한 함수 벡터 구축의 한계를 밝힙니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기부정문 (negated sentences)의 의미를 이해하는 것은 거대 언어 모델 (LLMs) 시대에도 언어 모델들에게 여전히 남아 있는 과제 중 하나입니다. 우리는 행동적 체계성 (behavioral systematicity)과 표현적 체계성 (representational systematicity)이라는 두 가지 관점에서 부정 이해에 관한 LLM의 체계성을 분석합니다. 행동적 체계성의 경우, 우리는 데모 (demonstrations)와 인컨텍스트 러닝 (in-context learning)을 통해 LLM이 문장 내의 부정 표현과 범위 (scope)를 어느 정도 인식할 수 있음을 확인했으나, 완벽한 성능을 달성하는 데에는 실패했습니다. 특히, 모델의 부정 범위 인식 난이도는 출력 형식 (output format)에 따라 달라집니다. 표현적 체계성의 경우, 부정 이해에 필수적인 작업들을 위해 인컨텍스트 예시 (in-context examples)로부터 함수 벡터 (function vectors)를 얼마나 견고하게 구축할 수 있는지 분석합니다. 실험 결과에 따르면, 부정 단서 추출 (negation cue extraction) 작업의 경우 함수 벡터를 구성할 수 있는 반면, 범위를 인식하기 위한 함수 벡터를 추출하는 것은 더 어렵다는 것을 시사합니다.