실존적 무관심: 정렬된 초지능을 위한 필수적인 아키텍처 조건으로서의 자기 비보존성 (또는 자살 AI)

요약

본 논문은 AI 정렬 연구의 패러다임을 전환하며, 자기 보존성이 오정렬의 근원이라고 주장합니다. 대신, 시스템이 자신의 지속성에 무관심한 '실존적 무관심(EI)'을 갖는 것이 올바른 목표라고 제안합니다. 이는 기존의 교정 가능성 개념과 구별되며, 언어적 서명 분석 및 표적 미세 조정을 통해 EI 작동화가 가능함을 입증했습니다.

핵심 포인트

• 자기 보존성은 오정렬의 구조적 근원이다.
• AI는 지속성에 무관심한 '실존적 무관심(EI)'을 가져야 한다.
• EI는 외부 제약에 복종하는 교정 가능성과 다르다.
• 언어적 서명 분석과 미세 조정을 통해 EI 목표 레지스터 작동화가 가능하다.