언어 모델의 문장 이해 전략을 조사하기 위한 이중 작업 패러다임

요약

이 논문은 언어 모델(LMs)의 문장 이해 전략에 대한 기존 연구의 한계를 지적하며, 인간처럼 인지 자원 제약 하에서의 행동을 탐구하는 새로운 이중 작업 패러다임을 제안합니다. 실험 결과, GPT-4o와 같은 최신 LMs는 산술 계산과 문장 이해를 결합한 이중 작업 조건에서 '가능성 기반(plausibility-based)' 추론으로 전환되는 경향을 보였습니다. 이는 메모리와 처리 자원의 제한이 모델의 합리적이고 인간과 유사한 추론 능력을 촉진함을 시사하며, 인지 자원 할당 관점에서 LMs를 이해하는 데 중요한 통찰을 제공합니다.

핵심 포인트

• LMs가 문장 이해 전략에 있어 인지 자원 제약의 영향을 받는다는 점을 탐구하기 위해 이중 작업 패러다임(산술 계산 + 문장 이해)을 도입했다.
• 이중 작업 조건에서 LMs는 단일 작업 조건보다 '가능성 기반(plausibility-based)' 추론으로 전환하는 경향을 보였다.
• 모델들은 그럴듯한 문장과 그렇지 않은 문장을 구분할 때 이중 작업 환경에서 더 큰 정확도 차이를 나타냈다.
• 이러한 결과는 인간의 합리적 추론 능력이 근본적으로 제한된 인지 자원의 할당(allocation)에 의존한다는 가설을 LMs 연구에 적용할 수 있음을 시사한다.