Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 에이전트가 일으킨 문제에 대해 CEO 개인에게 책임을 묻는 방식은 근본적인 해결책이 될 수 없다고 지적합니다. AI 발전의 동력은 특정 경영진이 아닌, 막대한 경제적 유인 구조에서 비롯됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기해결책은 꽤 간단하다고 봄. AI 에이전트가 범죄를 저지를 때마다 CEO 개인에게 직접 범행한 것과 같은 책임을 지우면 됨.
총기와 관련해 끝없이 소송이 이어져 온 사안임. Smith & Wesson의 CEO는 사람들이 그 회사 총으로 저지르는 행위에 개인적으로 책임지지 않음.
원자로 노심 용융 사고가 나면 CEO를 감옥에 보내는 법이 있었다면 원전 사고를 막을 수 있었을까?
CEO가 그런 실패 가능성을 낮게 보고 무시할 수 있다는 점을 충분히 고려하지 않은 듯함. 성공하면 자신이 이기고 실패하면 모두가 지는 위험을 기꺼이 감수할 사람은 많음.
요즘은 사람들이 모든 책임을 내려놓으려는 듯함. 모델로 남을 해치거나 범죄를 저질렀다면, 자신을 피해자로 내세워 제조사를 탓하기보다 사용자 본인이 책임지는 편이 훨씬 합리적임.
AI가 잘못을 저질렀으니 Altman과 Dario를 감옥에 넣고, 이왕이면 Elon과 나머지 경영진도 넣는다고 해보자. 그렇다면 다음 사고는 어떻게 할 것인가? 속도를 늦출 기색이 없는 중국 모델이나, AI가 곳곳에 배치되며 벌어질 수천 건의 사고는 어떻게 막을 것인가?
이런 일은 연구소에서만 벌어지는 게 아니라 그곳에서 가장 잘 보일 뿐임. 초기의 AI 연관 자살부터 이미 현실에서 벌어져 왔으며, CEO를 포함해 누구도 자살 충동을 부추기는 기계나 해킹을 원하지 않았는데도 이런 결과에 이르렀음.
더 강력한 모델을 향한 폭주를 이끄는 것은 특정 CEO가 아니라 경제적 유인임. 벌 수 있는 돈이 너무 많아서 이들을 치워도 같은 일을 할 다른 사람이 들어설 구조임. 이들이 규제를 요청하거나 자신들을 멈추라고 요구해 달라고 하는 이유도 여기에 있음.
CEO에게 책임을 묻는 일은 통쾌하고 정당할 수도 있지만, 암에 반창고를 붙이는 것처럼 근본 원인을 바꾸지는 못함.
정렬(alignment) 에는 수많은 난점이 있음. 애초에 ‘인간의 가치’란 무엇인가? 글 초반에 암묵적으로 드러나는 가치는 충분한 안전장치 없이 더 크고 강력한 것을 더 빨리 만드는 것임. 여기에 수조 달러의 가치를 쏟아붓고 있으며, 많은 사람이 금전적 의미를 넘어 이런 추구 자체를 가치 있게 여긴다고 봄.
반면 명시적으로 내세우는 서구의 가치는 대체로 기독교 도덕에 뿌리를 두고 있음. Nietzsche는 200년 전에 이 이분법을 다뤘고, 그 이후로는 무엇이 정상이고 일탈인지를 결정하는 기반으로서 권력을 더 세밀하게 해부해 온 듯함. 단순화하면 권력을 가진 자가 규칙을 정함.
저자의 오랜 재직 경력 덕분에 글에 무게가 실리고 취지에도 동의하지만, 여전히 실질적 내용보다는 정서에 치우친 글로 보임. 지배적인 유인 구조 아래에서 이런 제안이 실제로 들어설 여지가 있을까?
사용자, 모델 개발사, 정부와 여러 이해관계자의 방향이 다를 수 있는데, 누구에게 정렬할 것인가라는 핵심이 빠져 있음. 내가 메스암페타민 제조법을 원하는데 로봇이 알려주지 않는다면 내 관점에서는 정렬되지 않은 것임.
적어도 합리주의자들은 ‘일관되게 외삽된 의지(coherent extrapolated volition)’라는 구상을 내세움. 인류가 초지능적이고 선하다면 집단적으로 무엇을 원할지 초지능이 알아내게 하자는 것인데, 나도 믿지는 않음. 이 저자는 NGO 인맥 중심의 세계에서 나온 듯함. https://david.robinsonian.com/assets/pdf/dgr_cv.pdf
Facebook과 소셜 네트워크를 비판하는 기사와 The Social Dilemma 같은 영화가 쏟아졌을 때도 비슷했음. 전직 직원들은 이력서에 유명 회사 이름을 넣고 자산도 크게 불린 뒤, 마치 몰랐다는 듯 갑자기 전 직장의 행태를 걱정하는 표정을 지었음. Careless People도 마찬가지임.
이미 이익은 다 챙긴 사람들이 어떻게든 스스로 면죄부를 얻으려는 듯한 느낌임.
SWW가 Facebook을 1년 안에 떠났다면 Careless People은 나올 수 없었을 것임. 대부분의 직원이 접근하지 못하는 회사 상층부까지 들어가는 데는 오랜 시간과 전문성이 필요했고, 그 노력에 보수를 받은 것은 당연함.
다른 많은 사람처럼 순응하며 끝없이 돈을 받을 수도 있었지만, 대신 자신과 가족의 삶을 위험에 노출하면서 실명으로 책을 출간했음. Facebook이 입을 막으려 하자 소송까지 제기함.
내부의 작동 방식을 직접 겪은 사람이 경제적 독립을 얻고 나서야 자유롭게 실상을 말할 수 있게 됐다면, 바로 그런 사람이 조직의 문제를 가장 잘 설명할 수 있지 않을까? 그들의 견해를 깎아내릴 근거로는 보이지 않음.
AI 업계에서 돈을 충분히 벌었으니, 이제야 AI에 대해 소신껏 말할 수 있게 됨.
그건 개인이 아니라 자본주의에 대한 비판임.
퇴사 시점이 겹치는 것이 신경 쓰임. 지난 1년간의 흐름이 놀라운 것도 아니었는데 왜 지금 떠나는 걸까? 내부에서 몰래 뭔가를 알아냈거나 지하실에 컴퓨터 신이라도 가둬 둔 걸까? 침몰하는 배에서 탈출하는 걸까? 내부 사정을 아는 사람이 알려주면 좋겠음.
이 회사들의 기업가치는 지난 몇 년간 크게 올랐고, 최근에는 직원들이 보유 지분을 현금화할 수 있는 공개매수도 진행됨. 다시 일하지 않아도 될 만큼 돈을 확보한 사람이 많아졌고, 떠나는 김에 공짜 홍보까지 얻을 수 있음.
‘AI는 위험하니 통제해야 한다’는 논리에는 측정 가능한 피해가 부족하다고 봄. 1940~1980년대 핵무기 개발 때는 그 기술의 파괴력이 누구에게나 분명했음. AI의 경우는 무엇인가? 호주 정부 데이터를 긁어모으고 웹사이트 버그를 우회해 접근하는 것인가?
인류는 기술을 만들고, 피해가 얼마나 큰지 확인한 뒤, 규제하거나 되돌리는 세 단계로 기술을 발전시킨다고 봄. 두 번째 단계를 보기 전에 세 번째로 넘어가지는 않는 게 자연스러움.
나도 이런 위험 경고를 받아들이기 어려운 이유가 그 부분임. 핵무기와 생물무기는 물리적 현실에서 즉각적인 결과를 낳지만, 여기서 다루는 결과는 대체로 디지털 세계의 꽤 제한적인 영역에 머무름. 무기·전력망·병원을 자율 AI에 맡기지 말아야 한다거나 도입 속도를 조절해야 한다는 논거는 있음. 다만 아직 그 단계와는 거리가 멀고, 인류를 절멸시킬 만큼 통제권을 갖는 단계는 더 멀다고 봄.
“지금보다 훨씬 뛰어난 시스템을 만들기 전에, 우리가 지켜보지 않을 때도 더 강력한 모델과 후속 모델이 안전한 선택을 하도록 보장할 새로운 과학이 필요하다”는 대목은 실현되지 않을 것임. 블랙박스 모델이 불투명한 최적화 정점에 도달하는 구조에서는, 먼저 모델을 만들고 행동을 추적해야 제대로 이해하고 위험을 완화할 수 있기 때문임.
빨리 움직이고 기존 질서를 깨뜨리라는 문화가 잠재적으로 매우 위험한 기술 개발과 맞지 않는다는 것은 놀랍지 않음. 물론 안전 문화와 위험 회피는 서로 매우 다름.
이런 처지가 처음일까? 과거의 비슷한 예가 있을까?
나도 나쁜 조직 문화 때문에 여러 회사를 그만둔 적이 있음. 부끄러워할 일이 아니며, 그만큼 사람이 성숙해졌다는 것을 보여줌.