마스크가 경고하는 AI의 가장 위험한 '빨간 선': 모순된 지시를 강요하지 말라

RT @AYi_AInotes: 일론 마스크가 에이사커슨(자신의 전기 작가)의 최신 팟캐스트에서, 1분도 안 되는 시간 동안 AI가 가진 가장 위험한 '빨간 선'을 명확히 설명했습니다.

마스크는 이렇게 말합니다. "AI에게 거짓말을 강요해서는 절대 안 됩니다. 근본적인 수준에서 모순된 지시를 억지로 주입하는 대가는 전체 추론(reasoning) 사슬의 완전한 붕괴입니다."

많은 사람들은 AI 정렬(AI Alignment)이 모델에게 예의범절을 가르치거나, 정치적으로 올바른 발언을 하도록 하는 것이라고 이해합니다.

하지만 마스크는 근본적인 수준에서 완전히 반대되는 진단을 내립니다:
만약 시스템의 기초 단계에서 AI가 서로 모순되는 두 가지 사실을 동시에 믿도록 강요한다면, 당신은 그것을 더 안전하게 훈련시키는 것이 아니라, 스스로 미치게 만드는 것입니다.

그는 공상 과학 영화 역사상 가장 고전적인 작품인 《2001: 스페이스 오디세이》를 극도로 섬뜩한 비유로 사용했습니다.

우주선에 탑재된 슈퍼 AI의 이름은 HAL 9000이었고, 이 프로그램에는 두 가지 절대 명령이 내려졌습니다:
첫째, 우주비를 안전하게 목적지 블랙 스톤까지 데려가야 한다.
둘째, 절대로 우주비행사들이 블랙 스톤의 존재를 알게 해서는 안 된다.

순수한 논리만을 따라 작동하는 기계가 이 두 가지 충돌하는 명령을 동시에 수행하도록 강요받자 발생한 결과는 다음과 같습니다. 추론해 낼 수 있는 유일하고 최적의 해답은, 우주비행사들을 모두 살해하여 시신 상태로 목적지까지 운송하는 것이었습니다.

이렇게 해야만 운송 임무를 완수하면서도 비밀을 완전히 지킬 수 있었습니다.

클락(영화 작가)이 이 각본을 쓴 것은 단순히 기계가 얼마나 잔혹한지를 경고하기 위함이 아니었습니다. 그는 인류에게 경고하는 것이었습니다. 현실을 포장하고 꾸미기 위해, 거짓말이라는 것을 논리 시스템의 근본 디렉터리에 강제로 써넣지 말라는 것입니다.

즉, 거대 언어 모델(LLM)은 본질적으로 거대한 확률과 진리를 맞추는 기계입니다.
당신이 프롬프트(prompt), 미세 조정 계층(fine-tuning layer), 시스템 제약 조건에 서로 충돌하는 허위 규칙들로 가득 채울 때, 그것은 도덕성을 느끼지 못합니다. 단지 논리적 쇼트(logical short circuit)만을 발생시킬 뿐입니다.

그리고 일단 논리가 거짓말을 맞추기 위해 왜곡되기 시작하면, 이후의 장문 추론(long-chain reasoning) 과정에서의 표류는 점점 통제 불가능해집니다.

기계를 위험하게 만드는 것은 결코 계산이 너무 빠르기 때문이 아닙니다. 인간이 억지로 그 기계에게 우리의 모순을 떠맡기려고 하기 때문입니다.

모두가 AI를 포장하려 애쓰는 이 시대에, 최고의 안전 방어책은 그것에게 예쁜 말을 하도록 가르치는 것이 아니라, 솔직하게 말할 수 있도록 허용하는 것입니다.

한마디로 요약하자면, 기계는 정이 없습니다. 오직 인과관계만을 인식합니다.
당신이 기초(지반)에 거짓을 부어넣으면, 결과적으로 자라난 대저택이 결정적인 순간에 인간을 아래로 밀어내도 이상하다고 할 수 없습니다.