평균을 넘어: 소규모 파일럿 데이터를 활용한 LLM 기반 설문 시뮬레이터 정렬을 위한 3축 충실도 (Three-Axis Fidelity)

대규모 언어 모델 (LLMs)은 사회 설문 응답을 시뮬레이션하는 데 점점 더 많이 사용되고 있지만, 그 출력값은 체계적인 편향을 보입니다. 즉, 주변 분포 (marginal distributions)가 왜곡되고, 응답 분산 (response variance)의 보정이 제대로 이루어지지 않으며, 예측 변수-결과 (predictor-outcome) 관계가 약화됩니다. 우리는 다음과 같은 간단한 질문을 던집니다. 인간 응답의 소규모 파일럿 샘플 (pilot sample)이 주어졌을 때, LLM이 더 넓은 모집단의 통계적 특성을 복구할 수 있는가? 우리는 복구 과정을 세 가지 축, 즉 구조적 충실도 (structural fidelity), 주변 충실도 (marginal fidelity), 그리고 개별 충실도 (individual fidelity)로 분해합니다. COVID-19 오정보 설문 조사를 사례 연구로 사용하여, 우리는 프롬프팅 (prompting), 교정 (rectification), 그리고 미세 조정 (fine-tuning)이라는 세 가지 접근 방식의 계열을 벤치마킹합니다. 연구 결과는 소규모 파일럿 샘플에 대한 미세 조정 (fine-tuning)이 여러 형태의 충실도를 달성하기 위한 균형 잡힌 접근 방식을 제공하지만, 이러한 충실도의 수준은 하위 샘플 (subsamples)에 따라 달라질 수 있으며, 이는 잠재적으로 다원적 정렬 (pluralistic alignment)을 위협할 수 있음을 시사합니다.