소비를 줄이고 더 잘 적합화하기: 능동적 실험 선택을 통한 예산 효율적인 스케일링 법칙 적합

스케일링 법칙 (scaling laws) 은 수백만 달러 규모의 훈련 작업을 계획하는 데 사용되지만, 이러한 법칙을 적합화하는 것 자체가 수백만 달러의 비용이 들 수 있습니다. 현대 대규모 워크플로우에서 충분히 정보량이 있는 파일럿 실험 세트를 조립하는 것은 이미 일상적인 전처리 단계가 아닌 주요 예산 할당 문제입니다. 우리는 스케일링 법칙 적합 (scaling-law fitting) 을 유한한 비용의 다양한 실행 가능한 실험 풀 (pool) 에서 고비용 목표 영역 (high-cost target region) 의 외삽 정확도를 극대화하기 위해 어떤 실행을 수행할지 선택하는 예산 인식 순차적 실험 설계 (budget-aware sequential experimental design) 로 공식화합니다. 그 후, 목표 영역의 외삽에 가장 유용한 실행으로 실험 예산을 할당하기 위한 불확실성 인식 방법 (uncertainty-aware method) 을 제안합니다. 다양한 스케일링 법칙 작업 벤치마크에서 우리의 방법은 고전적인 설계 기반 베이스라인 (classical design-based baselines) 을 일관되게 능가하며, 전체 훈련 예산의 약 10% 만 사용하여 전체 실험 세트에서의 적합화 성능에 종종 근접합니다. 우리의 코드는 https://github.com/PlanarG/active-sl 에서 이용 가능합니다.