LLM 사회 시뮬레이터 감사를 위한 이유 매개 행동 모델 (Reason-Mediated Behavioral Models)

원문 발행 2026. 07. 28. 01:47원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

LLM이 사회 시뮬레이터로서 인간의 행동을 얼마나 정확히 모사하는지 평가하기 위해 '이유 매개 행동 모델'을 제안합니다. 단순히 결과값의 일치 여부를 넘어, LLM이 생성한 근거(rationale)가 인간의 의사결정 논리와 일치하는지 검증하는 프레임워크를 다룹니다.

핵심 포인트

LLM의 결과값 일치만으로는 시뮬레이션의 정확성을 보장할 수 없음
이유 상태(Reason states)를 활용한 사회 시뮬레이터 감사 프레임워크 제안
LLM은 인간의 근거를 재현하기보다 컨셉 내용을 반복하는 경향이 있음
해석 가능한 테스트를 통해 LLM 근거와 인간 증거의 일치성 확인 가능

대규모 언어 모델 (Large language models, LLMs)은 합성 설문 응답자를 포함하여 사회 시뮬레이터 (social simulators)로서 점점 더 많이 사용되고 있습니다. 대부분의 평가는 시뮬레이션된 결과가 인간의 결과와 유사한지를 묻습니다. 우리는 이것이 필요하기는 하지만 너무 약하다고 주장합니다. 시뮬레이터는 잘못된 근거 기반 이유 패턴 (rationale-derived reason pattern)을 사용하면서도 최종 답변은 일치시킬 수 있기 때문입니다. 우리는 94명을 대상으로 한 자외선 차단제 컨셉 테스트를 통해 이 문제를 연구하였으며, 각 응답자는 세 가지 제품 컨셉을 평가하고 개방형 근거 (open-ended rationales)를 작성했습니다. 우리는 이러한 근거들을 양의 부호는 채택을 지지하고 음의 부호는 채택을 차단하는 부호가 있는 이유 상태 (signed reason states) $Z$로 매핑합니다. 이는 실질적인 감사 (audit)를 제공합니다: 응답자 기술자 (descriptors) $D$, 카테고리 문맥 (category context) $K$, 그리고 컨셉 처치 (concept treatment) $X$를 고정했을 때, 인간의 근거에서 도출된 이유가 행동 $Y$를 예측하는 데 도움이 되는지, 그리고 LLM이 인간의 근거 나 결과를 보지 않고도 동일한 이유 상태를 시뮬레이션할 수 있는지를 확인하는 것입니다. 인간의 근거에서 도출된 이유는 구매 의도에 대한 홀드아웃 예측 (held-out prediction)을 실질적으로 향상시킵니다. LLM이 시뮬레이션한 이유는 더 취약합니다: 그것들은 종종 그럴듯하게 들리지만, 응답자의 수용 또는 거절 경로를 복구하기보다는 컨셉 보드 (concept board)의 내용을 그대로 반복하는 경우가 빈번합니다. 본 논문은 사회 시뮬레이터를 위한 평가 프레임워크를 기여합니다. 이유 상태 (Reason states) 그 자체만으로는 자연적인 인과 효과 (natural causal effects)를 식별하지는 못하지만, 시뮬레이터가 명시한 이유가 인간의 증거와 일치하는지에 대한 해석 가능한 테스트를 제공합니다.

AI 자동 생성 콘텐츠

원문 바로가기

LLM 사회 시뮬레이터 감사를 위한 이유 매개 행동 모델 (Reason-Mediated Behavioral Models)

요약

핵심 포인트

댓글