파운데이션 모델 (Foundation Model) 연구의 타당성 위협

통제된 실험 (Controlled experiments)은 머신러닝 (Machine learning) 연구의 중추이지만, 현대의 파운데이션 모델 (Foundation models) 규모에서는 비용이 지나치게 많이 듭니다. 대신, 연구 커뮤니티는 비용을 대폭 절감하면서 이상적인 실험을 근사하는 연구 전략에 점점 더 의존하고 있습니다. 즉, 프록시 실험 (Proxy experiments) 및 스케일링 법칙 (Scaling laws), 공개적으로 사용 가능한 모델을 활용한 관찰 연구 (Observational studies), 그리고 개별 학습 실행 내의 변동성을 활용하는 단일 실행 설계 (Single-run designs) 등이 그 예입니다. 본 연구에서 우리는 컴퓨팅 예산 내에서 대규모 실험을 근사할 때 공짜 점심은 없다고 주장합니다. 구체적으로, 컴퓨팅 비용의 절감은 타당성 위협 (Validity threats)이라는 대가를 치르게 합니다. 이는 숨겨져 있고 때로는 테스트가 불가능한 가정들로, 이러한 가정이 위반될 경우 연구 결과의 주장을 무효화할 수 있습니다. 이러한 위협을 탐색하는 데 도움을 주기 위해, 우리는 파운데이션 모델 연구를 인과 추론 (Causal inference) 문제로 규정하는 평가 프레임워크를 제안합니다. 이 프레임워크 내에서, 우리는 경험적 사회 과학에서 차용한 네 가지 유형의 타당성 — 통계적 (Statistical), 내부 (Internal), 외부 (External), 구성 타당성 (Construct validity) — 을 통해 다양한 연구 전략을 평가합니다. 우리는 각 전략이 고유한 타당성 프로필을 가지고 있음을 발견했습니다. 프록시 실험은 통계적 및 내부 타당성을 위해 외부 및 구성 타당성을 희생하며, 관찰 연구는 교란 (Confounding) 및 효과 이질성 (Effect heterogeneity) 문제에 직면하고, 단일 실행 설계는 처치 단위 (Treated units) 간의 간섭 (Interference)으로 인해 어려움을 겪습니다. 이 분석은 기존 문헌에서 충분한 주의를 기울이지 않았던 여러 타당성 위협을 드러냅니다. 전반적으로, 우리의 평가 프레임워크는 연구자들에게 파운데이션 모델 연구 설계의 타당성 위협을 면밀히 조사할 수 있는 실질적인 도구 모음을 제공합니다.