사회적 상호작용 에이전트의 신뢰 보정(Trust Calibration)을 향하여: LLM을 이용한 성별화된 멀티모달 행동 생성 연구

요약

본 연구는 사회적 상호작용 에이전트(SIA)가 사용자의 신뢰를 적절히 조절할 수 있도록 LLM을 활용해 능력과 선의를 반영한 멀티모달 행동을 생성하는 방법을 제안합니다. 실험 결과 GPT-4(본문 내 GPT-5.4는 오기로 판단됨)가 텍스트, 음성, 표정 등 다양한 양식에서 일관된 행동을 생성할 수 있음을 확인했으나, 성별 프롬프트 입력 시 사회적 성 고정관념이 나타나는 한계도 발견했습니다.

핵심 포인트

• LLM을 사용하여 에이전트의 능력(ability)과 선의(benevolence)를 나타내는 멀티모달 행동 생성 가능
• 텍스트, 억양, 얼굴 표정, 몸짓 간의 일관된 행동 생성 역량 입증
• 성별 지정 시 남성은 높은 능력, 여성은 높은 선의로 연결되는 사회적 성 고정관념 재현 문제 확인
• 사용자 연구를 통해 생성된 행동이 의도된 지침(능력 및 선의 수준)과 일치함을 검증