LLM 개발 및 평가를 위한 인과적 방법론 (Causal methods)

대규모 언어 모델 (LLM) 개발은 현재 데이터 혼합 (data mixtures), 보상 모델 (reward models), 라우팅 전략 (routing strategies), 그리고 평가 파이프라인 (evaluation pipelines)에 대한 대규모 경험적 반복에 의해 주도되고 있습니다. 본 논문에서 우리는 LLM 개발 및 평가의 많은 핵심 질문들이 본질적으로 인과적 (causal)이라고 주장합니다: 사전 학습 (pretraining) 중에 특정 데이터 도메인을 추가하는 효과는 무엇인가? LLM이 다른 스타일로 텍스트를 생성할 때 주석가 (annotator)의 선호도는 어떻게 변하는가? 추론 비용 (inference cost) 제약 조건이 주어졌을 때, 프롬프트는 더 큰 모델로 라우팅되어야 하는가 아니면 더 작은 모델로 라우팅되어야 하는가? 일반적으로 인과적 방법론은 개입 (interventions)이 결과 (outcomes)를 변화시키는 이러한 설정에 매우 적합하지만, 놀랍게도 LLM 개발에서는 충분히 다뤄지지 않고 있습니다. 우리의 기여는 세 가지 측면으로 구성됩니다: (1) 인과적 방법론이 현대적인 LLM 개발 및 평가를 어떻게 도울 수 있는지 설명합니다: LLM 개발은 로그 데이터 (logged data)에 크게 의존하는데, 이는 종종 교란 요인 (confounding)과 분포 변화 (distribution shifts)의 영향을 받습니다; 평가는 학습되었지만 잠재적으로 편향된 판사 (judges)를 사용합니다; 그리고 배포 환경은 비정상적 (non-stationary)입니다. 이러한 조건들은 순수하게 예측적인 (predictive) 접근 방식들을 취약하게 만들며, 인과 추론 (causal inference)으로부터 원칙적인 식별 (identification) 및 추정 (estimation) 방법론을 적용할 기회를 창출합니다. (2) 우리는 사전 학습 (pretraining), 정렬 (alignment), 라우팅 (routing), 에이전트 워크플로우 (agentic workflows), 그리고 평가 (evaluation)를 포함한 전체 LLM 개발 파이프라인에서의 인과적 방법론의 기회들을 더욱 구체화합니다. (3) 우리는 LLM 개발 및 평가를 위해 인과적 방법론을 활용하는 것과 관련된 새로운 연구 기회들을 논의합니다. 종합적으로, 우리는 이러한 방법론들이 신뢰할 수 있고 과학적으로 근거 있는 설계를 보장할 수 있음에도 불구하고, LLM 개발 및 평가 파이프라인에서 인과적 방법론이 잠재적으로 과소 활용되고 있다고 주장합니다.