Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
연구진은 Mistral, Gemini Flash, Claude Sonnet 및 Opus 등 다섯 가지 챗봇 구성의 정책 판단 견고성을 측정했습니다. 이들은 대통령 행정부 조치와 가상 개혁에 대한 장기적 영향을 평가하며 높은 일관성과 안정성을 보였습니다. 총 16,500개의 판단 데이터셋을 공개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기챗봇은 공공 문제에 대해 점점 더 많이 자문받고 있으며, 정책에 대한 그들의 판단은 견고할 때만 유용합니다. 우리는 일반 사용자 환경, 즉 소비자 채팅 인터페이스를 통해 이 견고성을 측정했습니다. 30일 동안 다섯 가지 챗봇 구성(Mistral, Gemini Flash, Claude Sonnet, 그리고 두 가지 노력 설정에서의 Claude Opus)이 지난 네 번의 대통령 행정부의 40개 조치와 15개 가상 개혁에 대한 장기적 영향을 점수 매기는 임무를 하루에 두 번씩 받았습니다. 각 평가에는 자신감도(confidence)와 짧은 코멘트가 포함되었습니다. 판단은 견고했습니다: 모든 구성 요소는 행정부 평균 점수의 부호와 순위에 동의했으며, 같은 날 요청된 서로 다른 두 가지 구성 요소는 약 4%의 경우에 동일한 조치에 대해 반대되는 부호를 보였습니다. 다른 날짜의 응답이 같은 날의 응답보다 더 많이 다르지만, 서비스 자체가 변경된 경우는 제외하고는 월(month)에 걸쳐 그 차이가 느리게 증가했습니다. 우리는 인터페이스에서 거의 또는 전혀 흔적을 남기면서 판단을 변화시킨 세 가지러한 변화를 식별했습니다. 코멘트를 검색 작업으로 취급했을 때, 이들은 각 항목에 특화되어 있으며 실행과 챗봇 전반에 걸쳐 일관성을 보였고, 어휘적 및 임베딩 유사성도 일치하는 것으로 나타났습니다. 우리는 16,500개의 판단 데이터셋을 공개합니다.