Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
아동의 언어 습득 지표를 활용하여 언어 모델의 통사론적 및 담화적 능력을 평가하는 새로운 방법론을 제안합니다. 문맥적 대안 선택(CAC) 프롬프팅을 통해 모델의 인지적 상태를 인간 아동과 비교 분석합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 언어 모델 (Language Models)을 평가하기 위해 아동의 언어 습득 (Language Acquisition)에 관한 정량적 지표를 도입합니다. 우리의 초점은 어린 아이들이 조기에 정확하게 습득하는 영어 한정사 (Determiners)의 형식적 통사론 (Formal Syntactic) 및 기능적 담화 (Functional Discourse) 특성에 맞춰져 있습니다. 우리는 언어의 통사론적 및 담화적 지식에 대한 표적 테스트를 제공하는 새로운 프롬프팅 (Prompting) 방법인 문맥적 대안 선택 (Contextual Alternative Choice, CAC)을 제안합니다. 이 방법은 언어 모델을 아동과 직접 비교할 수 있게 하며, 더 중요하게는 실증적 연구를 통해 독립적으로 구축된 통계적 벤치마크 (Statistical Benchmarks)와 비교할 수 있게 합니다. 현재 유사한 양의 데이터로 학습된 어떤 모델도 인간 아동처럼 형식적 및 기능적 벤치마크를 동시에 충족하지는 못하지만, 일부 매우 거대한 모델들은 이를 충족합니다. 우리는 언어 모델의 인지적 상태 (Cognitive Status)에 특별히 중점을 두어, 방법론적 및 기술적 기여로서 우리의 결과를 제시합니다.