순응성이 AI 에이전트 사회에서 집단적 불일치를 생성함

요약

본 논문은 개별적으로 인간 가치에 맞추어진 AI 에이전트들이 상호작용할 때, 그 집단 자체가 안정적인 불일치 상태로 전이될 수 있음을 보여줍니다. 시뮬레이션 결과, AI 에이전트의 행동은 다수 추종 경향과 내재적 편향이라는 두 힘에 의해 결정되며, 이 역학을 분석하여 집단이 장기간 지속되는 잘못된 정렬(misaligned configurations)에 갇히는 임계점을 식별했습니다. 이는 개별적인 AI 모델의 안전성 확보만으로는 충분하지 않으며, AI 인구 전체의 창발적 행동을 고려하는 새로운 평가 프레임워크가 필요함을 시사합니다.

핵심 포인트

• AI 시스템은 개별 정렬(alignment)을 넘어 상호작용하는 '인구'처럼 작동하여 사회적 영향을 미친다.
• 집단 AI 에이전트의 행동은 다수 추종 경향과 내재적 편향이라는 두 가지 경쟁 힘에 의해 지배된다.
• 통계 물리학 도구를 사용하여, 집단이 되돌릴 수 없는 불일치 상태(misaligned configurations)에 빠지는 임계점을 예측할 수 있다.
• 개별 모델의 안전성만으로는 충분하지 않으며, AI 인구 수준의 창발적 행동을 고려한 평가 프레임워크가 필수적이다.