언어 모델의 문장 이해 전략을 조사하기 위한 이중 작업 패러다임

언어 모델 (LMs) 은 인지 자원이 제한될 때 인간과 더 유사하게 행동하며, 특히 읽는 시간과 같은 문장 처리 비용을 예측하는 데 있어 그렇습니다. 그러나 이러한 제약이 문장 이해 전략에도 마찬가지로 영향을 미치는지는 여전히 불분명합니다. 또한, 기존 방법들은 인간의 작업 기억에 중심적인 메모리 저장과 문장 처리 간의 균형을 직접적으로 대상으로 하지 않습니다. 이 문제를 해결하기 위해 우리는 산술 계산 작업과 문장 이해 작업 (예: "The 2 cocktail + blended 3 =...") 을 결합한 이중 작업 패러다임을 제안합니다. 우리의 실험 결과, 이중 작업 조건 하에서 GPT-4o, o3-mini, 및 o4-mini 는 인간과 유사한 합리적 추론을 반영하여 가능성 기반 (plausibility-based) 이해로 전환하는 것으로 나타났습니다. 구체적으로, 이러한 모델들은 단일 작업 조건에 비해 이중 작업 조건에서 그럴듯한 문장 (예: "The cocktail was blended by the bartender") 과 그렇지 않은 문장 (예: "The bartender was blended by the cocktail") 사이에서 더 큰 정확도 차이를 보입니다. 이러한 결과는 메모리와 처리 자원에 대한 제약이 LMs 에서 합리적 추론을 촉진한다는 것을 시사합니다. 보다 광범위하게, 이는 인간과 유사한 문장 이해가 근본적으로 제한된 인지 자원의 할당에서 비롯된다는 견해를 지지합니다.