언어 모델의 형식과 기능 측정

우리는 언어 모델 (Language Models)을 평가하기 위해 아동의 언어 습득 (Language Acquisition)에 관한 정량적 지표를 도입합니다. 우리의 초점은 어린 아이들이 조기에 정확하게 습득하는 영어 한정사 (Determiners)의 형식적 통사론 (Formal Syntactic) 및 기능적 담화 (Functional Discourse) 특성에 맞춰져 있습니다. 우리는 언어의 통사론적 및 담화적 지식에 대한 표적 테스트를 제공하는 새로운 프롬프팅 (Prompting) 방법인 문맥적 대안 선택 (Contextual Alternative Choice, CAC)을 제안합니다. 이 방법은 언어 모델을 아동과 직접 비교할 수 있게 하며, 더 중요하게는 실증적 연구를 통해 독립적으로 구축된 통계적 벤치마크 (Statistical Benchmarks)와 비교할 수 있게 합니다. 현재 유사한 양의 데이터로 학습된 어떤 모델도 인간 아동처럼 형식적 및 기능적 벤치마크를 동시에 충족하지는 못하지만, 일부 매우 거대한 모델들은 이를 충족합니다. 우리는 언어 모델의 인지적 상태 (Cognitive Status)에 특별히 중점을 두어, 방법론적 및 기술적 기여로서 우리의 결과를 제시합니다.