고립된 작업에서 구조화된 능력으로: 대규모 언어 모델(LLM)을 위한 다층 분류 체계
요약
LLM 평가가 작업 중심에서 능력 중심으로 전환되어야 함을 강조하며, 인지 과학에 기반한 다층 분류 체계를 제안합니다. 14개 영역과 91개 하위 기술로 구성된 이 체계는 연구 조직과 모델 진단을 위한 새로운 프레임워크를 제공합니다.
핵심 포인트
- 작업 중심 평가의 파편화 문제를 해결하기 위한 다층 분류 체계 도입
- 인지 과학을 기반으로 원시, 구성, 통합 계층의 14개 능력 영역 정의
- 3만여 편의 논문 분석을 통해 언어-의미 및 추론 역량의 높은 비중 확인
- 연구 조직, 커버리지 감사, 모델 진단 및 훈련을 위한 검증 가능한 가설 지원
대규모 언어 모델 (LLM) 평가는 다양한 작업 (tasks)과 벤치마크 (benchmarks)에 걸쳐 이루어지지만, 증거들은 여전히 모델이 탐색하는 능력 (capabilities)보다는 작업 (tasks)을 중심으로 조직되어 있습니다. 이러한 파편화는 연구 간의 비교를 제한하고, 작업이 모집하는 능력을 모호하게 만들며, 커버리지 격차를 식별하기 어렵게 만듭니다. 우리는 원시 (Primitive), 구성 (Constructed), 통합 (Integrative) 계층에 걸쳐 14개의 능력 영역 (capability domains)과 91개의 하위 기술 (subskills)로 이루어진 다층 분류 체계 (multi-layer taxonomy)를 도입합니다. 능력의 정의와 조직화는 LLM 아키텍처가 아닌 인간의 인지 과학 (cognitive science)을 따릅니다. 계층 할당은 발달적 우선순위와 가설화된 기능적 지원을 바탕으로 하며, 인간 유래 구성 개념은 관찰 가능한 모델 행동에 맞게 조정되었습니다. 운영상의 유용성을 입증하기 위해, 우리는 2023년부터 2025년 사이에 ACL, AAAI, ICML, NeurIPS에서 발표된 31,505편의 논문을 스크리닝하였으며, 다중 모델 주석 (multi-model annotation), 합의 (consensus), 중재 (arbitration)를 통해 LLM 중심의 15,934편의 논문을 매핑했습니다. 직접적인 연구 관심은 언어-의미 역량 (Language-Semantic Competence, 3,551편; 22.3%), 추론 (Reasoning, 3,388편; 21.3%), 계획 및 의사결정 (Planning and Decision-Making, 2,149편; 13.5%), 그리고 지각 (Perception, 1,954편; 12.3%)에 집중된 반면, 6개 영역은 논문의 2% 미만에서 나타났습니다. 영역 내에서 가장 빈번한 하위 기술은 중앙값 유병률이 97.9%였으며, 14개 영역 중 10개 영역에서 논문의 최소 90%에 등장했습니다. 언어-의미 역량과 추론은 가장 높은 볼륨의 쌍을 형성하였고 (n = 1,864; 11.7%; lift = 2.47), 마음 이론 (Theory of Mind) 및 사회적 추론과 상호작용 (Social Reasoning and Interaction)은 최소 20회의 공동 발생이 있는 쌍 중에서 가장 높은 리프트 (lift)를 보였습니다 (n = 62; lift = 30.84). 분석 단위를 고립된 작업에서 구조화된 능력으로 전환함으로써, 이 분류 체계는 연구 조직, 커버리지 감사, 평가 해석, 그리고 진단, 훈련 및 전이를 위한 검증 가능한 가설 설정을 지원합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기