ProbeScale: 효율적인 소형 언어 모델 추론을 위한 신경 스케일링 법칙 최적화 프로빙 분석

소형 언어 모델 (Small Language Models, SLMs)은 성능과 계산 가능성 사이의 균형을 제공합니다. 신경 스케일링 법칙 (Neural scaling laws)은 이들의 최적 학습에 대한 정보를 제공하며, 모델의 크기에 따라 풍부한 내부 표현 (internal representations)이 확장됨을 시사합니다. 그러나 엄격한 자원 제약 하에서는 이러한 SLM을 배포하는 것조차 어려울 수 있습니다. 언어 모델 프로빙 (Language model probing)은 모델의 내부 구조에 인코딩된 언어적 지식을 분석하는 방법론을 제공합니다. 우리는 사전 학습된 SLM 내에서 매개변수 효율적인 서브네트워크 (parameter-efficient subnetworks)를 식별하기 위해, 스케일링 법칙과 프로빙의 통찰을 통합하는 프레임워크인 ProbScale을 제안합니다. ProbScale은 잘 스케일링된 SLM의 고품질 표현을 활용하며, 작업 특화 프로브 (task-specific probes)를 사용하여 대상 다운스트림 능력에 대한 각 레이어의 관련성을 수학적으로 정량화합니다. 이를 통해 성능과 매개변수 크기 사이의 최적의 트레이드오프 (trade-off)를 이루는 서브네트워크를 선택할 수 있습니다. 우리는 서브네트워크 선택 문제를 매개변수 예산 내에서 작업 가중치가 적용된 통합 프로브 성능을 최대화하는 레이어 부분 집합을 찾는 것으로 공식화합니다. RoBERTa-Large 및 T5-Base와 같은 대표적인 SLM을 대상으로 한 실험 결과, ProbScale은 휴리스틱 베이스라인 (heuristic baselines)보다 뛰어난 성능을 보이며, 대상 작업에서 높은 성능(기존 SLM의 95%~98%)을 유지하면서도 매개변수를 5배에서 10배까지 크게 줄이는 서브네트워크를 식별함을 입증했습니다.