개입의 환상: LLM 시뮬레이션 실험은 관찰 연구이다

대규모 언어 모델 (LLMs)은 인간 행동의 시뮬레이터로서 잠재력을 보여주며, 개입 (interventions)에 대한 반응을 연구할 수 있는 확장 가능한 방법을 제공합니다. 그러나 LLMs는 주로 관찰 데이터 (observational data)를 기반으로 학습되었기 때문에, LLM으로 시뮬레이션된 합성 사용자 (synthetic users)를 대상으로 하는 실험에서의 개입은 잠재적 사용자 속성 (latent user attributes)에 의도하지 않은 변화를 유도할 수 있습니다. 이는 처치 조건 (treatment conditions)에 따라 암묵적인 시뮬레이션 인구 집단이 달라지는 사용자 드리프트 (user drift)를 유발하여, 잠재적으로 효과 추정치 (effect estimates)를 왜곡할 수 있습니다. 우리는 사용자 드리프트로 인해 발생할 수 있는 교란 (confounding) 또는 선택 편향 (selection bias)을 공식화하고, 개입 의존적 변화가 개입 하에서의 사용자 반응 차이를 어떻게 부풀리거나 약화시킬 수 있는지 보여줍니다. 교란을 진단하기 위해, 우리는 개입 하에서도 불변으로 유지되어야 하는 속성인 부정 대조 결과 (negative control outcomes)를 사용하여 개입 조건 간의 분포 변화 (distribution shifts)를 식별하고, 사용자 드리프트의 증거를 제공할 것을 제안합니다. 드리프트를 완화하기 위해, 우리는 추가적인 교란 요인 (confounders)을 이끌어냄으로써 페르소나 명세 (persona specification)를 조정하는 방법을 연구하였으며, 타겟팅된 설정 관련 교란 요인이 설문 조사 스타일 및 다회차 에이전트 평가 (multi-turn agent evaluations) 전반에서 편향을 실질적으로 줄일 수 있음을 발견했습니다.