인간 성격 특성, 사회 인구통계 및 소셜 미디어 행동을 시뮬레이션할 때 LLM 이 사회적 이슈를 논쟁하는 방식 매핑
요약
본 기술 기사는 인간의 성격 특성, 사회 인구통계학적 정보, 소셜 미디어 행동을 시뮬레이션하여 LLM이 다양한 사회적 이슈에 대해 논쟁하는 방식을 분석할 수 있는 새로운 합성 코퍼스인 '인지 디지털 그림자(CDS)'를 소개합니다. CDS는 19개의 LLM 중 하나가 생성한 19만 건의 기록으로, 백신/의료, 허위 정보, 성별 격차 등 네 가지 논란 주제에 대한 응답을 포함하며, 페르소나 조건부 데이터를 통해 LLM의 편향과 사회적 민감성을 감사하는 데 활용될 수 있습니다. 이 플랫폼은 사용자가 모델, 페르소나, 주제에 따른 감정적/의미적 프레임 비교를 쉽게 할 수 있도록 설계되었습니다.
핵심 포인트
- CDS(Cognitive Digital Shadows)는 19만 건 규모의 합성 코퍼스로, LLM이 사회적 이슈에 대해 논쟁하는 방식을 분석합니다.
- 각 기록은 인간 페르소나 또는 AI 어시스턴트 역할을 시뮬레이션하도록 프롬프팅되어, 성격 및 인구통계학적 속성을 포함합니다.
- CDS는 백신/의료, 허위 정보, 젠더 격차 등 네 가지 논란 주제에 대한 LLM 응답을 담고 있습니다.
- 이 코퍼스는 LLM의 편향성, 사회적 민감성, 정렬(alignment) 감사 및 연구를 지원하는 프롬팅 프레임워크 역할을 합니다.
대형 언어 모델 (LLMs) 은 사회적 담론을 강력하게 형성할 수 있으나, 통제된 사회적 및 문맥적 프롬팅에 따른 LLM 출력의 변이를 조사하는 데이터셋은 여전히 희소합니다. 인지 디지털 그림자 (Cognitive Digital Shadows, CDS) 는 190,000 건의 기록으로 구성된 합성 코퍼스로, LLM 생성 담론 분석을 지원합니다. 각 CDS 기록은 19 개의 LLM 중 하나에 의해 생성되며, 인간 페르소나 (human persona) 나 AI 어시스턴트 역할 중 하나를 시뮬레이션하도록 프롬팅됩니다. CDS 는 백신/의료, 소셜 미디어 허위 정보, 과학 분야의 성별 격차, STEM 고정관념이라는 4 가지 논란의 여지가 있는 사회적 주제에 대한 LLM 응답을 포함합니다. 페르소나 조건부 기록은 17 개의 사회 인구통계학적 및 심리적 속성을 인코딩하여 LLM 의 프롬팅, 언어, 입장 및 추론을 연결하는 데이터를 제공합니다. 텍스트는 주제 앵커링 (topic anchoring) 을 위해 검증되었으며, 해석 가능한 NLP(예: 텍스트적 forma mentis 네트워크) 를 통해 감정 분석을 지원할 수 있습니다. CDS 는 사용자 친화적인 대시보드를 갖춘 풀링 플랫폼으로 보강되어, 페르소나, 주제 및 모델에 따른 감정적 및 의미적 프레임의 그룹 수준 비교를 쉽게 가능하게 하는 상호작용 기능을 제공합니다. CDS 프롬팅 프레임워크는 LLM 의 편향, 사회적 민감성 및 정렬 (alignment) 에 대한 향후 감사 (audits) 를 지원합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기