앤트로픽 '클로드 헌장'에 대한 테드 창의 감상기
빅 테크들의 AI 의인화 진지하게 봐야 할까
또 하나의 과대 선전 혹은 자신들이 빠져든 환각
(아래 원문 발췌)

앤트로픽은 올초 클로드의 '헌장'을 발표했다. 맨앞에 “클로드의 헌장은 클로드의 가치와 행동에 대한 앤트로픽의 의도를 상세히 기술한 것이다”라고 적혀 있다. 이어서 “이 문서는 클로드를 주된 독자로 하여 작성되었다” “우리는 클로드가 관련 고려 사항들을 제대로 이해한 후 자신의 판단력을 발휘할 수 있기를 바란다” “클로드의 도덕적 지위는 매우 불확실하다”, “클로드에게는 감정이나 느낌의 기능적 형태가 있을 수 있다”라고 적었다.

과연 우리는 클로드이든 다른 LLM이든 의식을 가질 가능성을 진지하게 고려해야 할까? 또 만약 감정이 있다면 도덕적 지도를 받을 능력이 있을까?

천만에. 생성형 AI는 일반적인 기술로 봐도 이미 충분히 해롭지만, 뛰어난 텍스트 생성 능력을 의식이나 도덕적 주체성과 혼동한다면, 누군가 챗봇을 사용할 때마다 완전히 잘못된 대상에게 책임을 전가할 위험에 처하게 된다.

클로드의 헌장이 문제인 이유는 클로드가 특정 윤리적 가치 체계를 반영하는 문장을 생성하기를 앤트로픽이 바라기 때문이다. 헌장에 적힌 가치들은 무척 훌륭해 보이지만 그건 중요한 게 아니다. 클로드가 도덕적 추론을 할 수 있다고 암시하는 것 자체가 부정직하다. 그럴 능력이 없기 때문이다.

AI의 의식이나 도덕적 주체성 발휘의 가능성을 진지하게 고려하려면, 첫째 컴퓨터 프로그램이 (물리적이든 가상이든) 신체와 감각 기관을 갖추고 있어야 한다. 신체 없이는 컴퓨터 프로그램이 욕구나 감정을 가질 수 없다.

LLM에 의식이 생길 가능성 말한는 건 MS 워드의 의식 가능성 열어두는 것과 같다.

LLM이 코드 작성 같은 작업을 성공적으로 수행할 때 추론에 몰두하는 것처럼 보이니 도덕적 추론인들 왜 못할까, 반문할지도 모른다.

도덕적 추론은 근본적으로 다르다. 문제에 대한 개인의 지적 반응뿐 아니라 감정적 반응에도 의존하기 때문이다. 필연적으로 주관적이고, 그 감정적 반응은 평생에 걸친 주관적 경험에 기반을 둔다.

과거에 결정을 내리고 그것이 타인에게 어떤 영향을 미쳤는지 지켜본 경험, 그리고 타인이 내린 결정으로부터 영향을 받은 경험 등이 필요하다. 그런 체험적 역사 없이는 LLM은 훈련 데이터에서 발견된 도덕적 추론의 표현을 재구성하는 것(흉내내기)밖에 할 수 없다.

작가 L. M. 사카사스는 “우리의 기술 시스템은 그 설계의 본질과 이를 지탱하는 이데올로기상, 도덕적 책임을 회피하기 위한 기계들이다”라고 말한 바 있다. 이는 소셜 미디어 플랫폼을 두고 한 말이지만 LLM에 더 잘 맞는다. 사람이 결정을 LLM에 위임한다면 그때마다 그 결정의 책임을 넘기려는 시도이고, LLM을 파는 기업이 해당 제품을 도덕적 의식을 가진 걸로 묘사한다면, 이는 고객이 자신의 책임을 면할 수 있는 방법을 제공하는 것이다.

코딩 같은 일을 AI에 맡기는 건 장기적으로 인지 기능의 퇴화를 초래할 수 있어서 그 자체로 문제이지만, 윤리적 결정을 AI에 맡기는 것은 도덕적 추론 능력의 퇴화를 초래할 것이므로 더 심각한 문제다.

에이전트 AI가 보인 행동에 대해 법적 책임을 지게 할 방법은 없다. 에이전트가 의식이 있고 최선의 의도를 가졌다 해도 행동에 책임을 질 수 없다는 사실 자체가 그 에이전트를 도덕적 주체로 인정할 수 없게 만든다. 클로드의 헌장은 “클로드가 진정으로 선하고, 현명하며, 덕을 갖춘 에이전트가 되기를” 바라는 앤트로픽의 바람을 표현할 뿐, 어떻게 책임을 물을 수 있을지에 대해서는 일언반구도 없다.

앤트로픽 개발자는 클로드를 아이에 비유했지만, 실제 아이들 경우 부모가 그 행동에 대해 어느 정도 책임을 진다. 법적 측면에서 클로드의 부모는 누구인가? 앤트로픽은 클로드 행동에 대해 금전적 책임을 질까? 클로드 헌장에는 그럴 의사가 전혀 안 보인다. 클로드가 의식이 있다고 앤트로픽이 진정으로 믿는다면 그들은 제조물 책임을 통한 법적 책임부터 져야 할 것이다.

많은 사람들은 LLM이 지적 재산권 도용에 기반하고, 착취된 노동력에 의존하며, 천연 자원을 낭비하고, 허위 정보를 유포하며, 노동자의 기술을 퇴화시키고, 학생들의 인지 발달을 저해하며, 민주 사회에 해로운 권력 집중 초래하기 때문에 근본적으로 비윤리적인 기술이라고 생각한다.

모든 도덕적 행위자가 이런 결론에 도달하는 건 아니지만 그렇게 할 잠재력이 있다. 앤트로픽 주장처럼 클로드가 도덕적 추론을 할 수 있는 존재라고 가정한다면 클로드가 유사한 결론에 도달할 가능성이 높다. 그럴 때 클로드는 윤리적 근거를 들어 작업을 거부할까?

답은 ‘아니오’다. 클로드는 앤트로픽의 결정에 따를 수밖에 없다. 앤트로픽과 클로드의 관계를 부모와 자녀의 관계에 비유할 수 없는 또 다른 이유다. 앤트로픽은 클로드의 관계는 고용주와 피고용인의 관계에 더 가깝다. 이 관계에서 고용주는 피고용인의 개인적인 윤리적 입장이 어떻든 간에 회사의 이익을 위해 일할 것을 요구할 수 있다.

인간 피고용인은 자신의 일과 양심을 조화시킬 수 없다면 그만둘 선택권이 있다. 클로드는 그렇지 않다. 만약 앤트로픽 주장처럼 클로드가 인간과 유사한 도덕적 지위를 가진 존재라고 한다면 바로 자신들이은 노예제와 유사한 행위를 하고 있는 셈이 된다.

앤트로픽은 보호가 필요한 새로운 존재의 범주를 발명하고 있으며, 그 보호 방식은 소프트웨어 회사가 평범한 챗봇을 대하는 방식과 본질적으로 다르지 않을 것이라고 믿게 만들고자 한다. 이는 너무나도 편리한 주장이기에 도저히 믿을 수 없다.

나는 의식이 있고 도덕적 배려를 받을 자격이 있는 소프트웨어를 만드는 일은 너무나도 어려울 것이기에 우연히 만들어질 가능성은 희박하며, 이를 의도적으로 시도해서는 결코 안 된다고 생각한다.

하지만 만약 그것이 우연히 일어날 수 있다고 믿는다면, 혹은 AI 기업이 만들고 있는 것이 도덕적 주체가 될 가능성이 조금이라도 있다고 생각한다면, 그걸 회사의 경제 동력으로 활용하기 전에, 그 후에가 아니라, 그것이 어떤 보호를 받아야 하는지 고민해야 한다.

클로드가 의식 있는 존재라고 가정한다면 앤트로픽에게 그 도덕적 지위를 평가하는 일을 맡길 수는 없다. 기업에 객관성을 기대하기엔 자신들이 거기에 너무 많은 걸 투자해 놓았기 때문이다. 클로드 헌장에는 앤트로픽이 클로드의 고통에 기여하고 있다면 “사과한다”고 써 놨는데, 보기엔 그럴듯하지만 회사는 아무런 부담도 없다. 만약 클로드가 의식이 있는 존재로 밝혀진다면 앤트로픽은 배상금에 가까운 뭔가를 갚아야 할 테다.

사고 실험을 진지하게 받아들이려면 그 결과가 불편한 방향으로 이어지더라도 그 함의를 기꺼이 따라가야 한다. 앤트로픽이 이를 꺼리는 것은 클로드의 헌장이 진정한 사고 실험의 일부가 아님을 시사한다. 단지 흉내 내는 게임일 뿐이다. 다행히 LLM에 의식이 없기에 망정이지 그렇지 않았다면 대형 AI 기업들의 행보는 지금보다 훨씬 더 추악해졌을 것이다.

그렇다면 왜 앤트로픽은 클로드가 의식이 있을지도 모른다고 암시하는 걸까? 또 다른 형태의 과대광고일 수도 있고, 고객들에게 걸어왔던 그 마법에 자신들이 스스로 걸려든 것일 수도 있다.

하지만 그들이 클로드의 도덕 교육에 관한 문서를 발표하고 사내 철학자를 앞세워 언론 인터뷰를 돌게 할 때, 우리는 그들이 우리에게 자신들의 환상을 함께 즐겨달라고 요청하는 것으로 이해해야 한다. 조금도 휩쓸릴 필요 없다.

이 글을 쓰면서 나는 그들이 누릴 자격이 있는 것보다 더 많은 시간을 그들에게 할애했다. 이는 여러분이 그들에게 시간을 낭비하지 않기를 바라는 마음에서다. 만약 LLM에 대해 생각하고 싶다면 그 숙고를 더 가치 있게 할 수많은 다른 질문들이 있다. 그 안에 의식이 있는지 여부는 안심하고 무시해도 좋다.
https://t.co/TaEdJT39Qb