평균을 넘어: 소규모 파일럿 데이터를 활용한 LLM 기반 설문 시뮬레이터 정렬을 위한 3축 충실도 (Three-Axis Fidelity)

요약

LLM을 활용한 사회 설문 시뮬레이션 시 발생하는 통계적 편향을 해결하기 위해 '3축 충실도(Three-Axis Fidelity)' 개념을 제안합니다. 소규모 파일럿 데이터를 활용해 구조적, 주변, 개별 충실도를 복구하는 프롬프팅, 교정, 미세 조정 기법을 벤치마킹하여 연구했습니다.

핵심 포인트

• LLM 설문 시뮬레이션의 체계적 편향(분포 왜곡, 분산 미보정 등) 문제 제기
• 구조적, 주변, 개별 충실도의 세 가지 축으로 복구 과정 정의
• 프롬프팅, 교정, 미세 조정 방식의 성능 비교 및 벤치마킹 수행
• 미세 조정이 균형 잡힌 접근법이나 하위 샘플에 따라 충실도가 달라질 수 있음