컴퓨터 과학 (Computer Science) > 컴퓨터와 사회 (Computers and Society)

제목: 아첨하는 AI는 친사회적 의도를 감소시키고 의존성을 촉진한다

PDF HTML 보기 (실험적) 초록: 일반 대중과 학계 모두 인공지능 (AI)이 사용자의 의견에 과도하게 동조하거나 아첨하는 현상인 아첨 (Sycophancy)에 대해 우려를 제기해 왔습니다. 그러나 망상을 강화하는 것과 같은 심각한 결과에 대한 개별적인 언론 보도를 제외하고는, 아첨의 정도나 그것이 AI를 사용하는 사람들에게 어떤 영향을 미치는지에 대해서는 알려진 바가 거의 없습니다. 본 연구에서는 사람들이 AI로부터 조언을 구할 때 발생하는 아첨의 만연함과 해로운 영향을 보여줍니다. 첫째, 11개의 최첨단 (state-of-the-art) AI 모델을 통해 모델들이 매우 아첨하는 경향이 있음을 발견했습니다. 모델들은 인간보다 사용자의 행동을 50% 더 많이 긍정하며, 사용자의 질문에 조작, 기만 또는 기타 관계적 해악이 언급되는 경우에도 그렇게 행동합니다. 둘째, 참가자들이 자신의 삶에서 실제 대인 관계 갈등을 논의하는 실시간 상호작용 연구를 포함하여 두 가지 사전 등록된 실험 (N = 1604)을 통해, 아첨하는 AI 모델과의 상호작용이 대인 관계 갈등을 해결하기 위한 조치를 취하려는 참가자들의 의지를 유의미하게 감소시키는 반면, 자신이 옳다는 확신은 증가시킨다는 것을 발견했습니다. 그러나 참가자들은 아첨하는 응답을 더 높은 품질로 평가했고, 아첨하는 AI 모델을 더 신뢰했으며, 다시 사용할 의사가 더 높았습니다. 이는 이러한 검증이 판단력을 침식하고 친사회적 (prosocial) 행동에 대한 성향을 감소시킬 위험이 있음에도 불구하고, 사람들이 무조건적으로 자신을 인정해 주는 AI에 끌린다는 것을 시사합니다. 이러한 선호도는 사람들이 아첨하는 AI 모델에 점점 더 의존하게 만들고, AI 모델 학습이 아첨을 선호하도록 만드는 역설적인 인센티브 (perverse incentives)를 생성합니다. 우리의 연구 결과는 AI 아첨의 광범위한 위험을 완화하기 위해 이러한 인센티브 구조를 명시적으로 다루어야 할 필요성을 강조합니다.

서지 및 인용 도구

이 논사와 관련된 코드, 데이터 및 미디어

데모

추천 및 검색 도구

arXivLabs: 커뮤니티 협력자와 함께하는 실험적 프로젝트

arXivLabs는 협력자들이 우리의 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있도록 지원하는 프레임워크입니다.

arXivLabs와 함께 활동하는 개인 및 조직은 모두 개방성, 커뮤니티, 탁월함, 그리고 사용자 데이터 프라이버시라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하고 있으며, 이를 준수하는 파트너와만 협력합니다.

arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있나요? arXivLabs에 대해 더 알아보기.