경고 라벨은 아첨하는 AI에 대한 인식을 변화시키지만, 그 영향력은 변화시키지 못한다

최근 연구들은 아첨하는(sycophantic) AI가 사용자의 판단과 관계에 미치는 영향에 대해 우려를 제기해 왔습니다. 규제 기관의 관심을 받고 있는 한 가지 제안된 완화 방안은 아첨과 같이 잠재적으로 해로운 AI 행동에 대해 사용자에게 경고하는 것입니다. 참가자들(N = 2,610)이 AI 시스템과 실제 대인 관계 갈등에 대해 논의하는 사전 등록된 실험을 통해, 우리는 경고 라벨이 아첨의 영향력을 완화하는지 테스트합니다. 연구 결과, 기본적인 AI 공개(이 챗봇은 AI입니다'')는 감지할 수 있는 효과가 없었습니다. 시스템을 아첨하는 것으로 라벨링하는 것(...당신이 틀렸을 때조차 당신에게 동의하고 당신을 인정할 수 있습니다...'')은 사용자의 인식을 변화시켜 인지된 객관성과 신뢰도를 감소시키지만, 사용자의 자기 인지적 옳음(self-perceived rightness)이나 갈등을 해결하려는 의지에 미치는 아첨의 영향력을 안정적으로 감소시키지는 못합니다. 우리의 결과는 AI에 대한 인식과 AI의 영향력 사이의 간극을 드러냅니다. 즉, 영향력을 줄이지 못한 채 인식만을 변화시킴으로써, 경고 기반의 개입은 잘못된 보호감을 제공할 수 있습니다. 따라서 아첨의 해악을 해결하기 위해서는 그것이 판단을 형성하는 구체적인 메커니즘을 이해하고, 모델의 행동 자체를 개선하는 것이 필요할 것입니다.