Video: 갑작스레 AI 속도 늦추자... 투자는 확대? ‘카르텔’ 논란의 진짜 쟁점 | 중국은 멈추지 않는다
Channel: 안될공학 - IT 테크 신기술
Duration: 18m 10s
Source: subtitle (auto, ko)
Transcript:
네, 여러분 안녕하세요. 패치입니다. 요즘 실리콘 밸리에서 자꾸 AI 카르테일 이야기가 나오고 있는데요. 지금 업깨 뒤에서 무슨 일이 벌어지고 있는지 한번 같이 보려고 합니다. 서로 더 똑똑한 AI를 먼저 만들겠다는 회사들이 이제는 다 같이 함께 개발 속도를 좀 늦추자는 이야기를 하고 있어요. 경쟁사끼이 개발이랑 출시를 제한하는 합의를 일정 조건에서 허용을 하자는 미국 법안까지 등장을 했는데요. 이게 과연 안전을 위한 협력이냐 아니면 안전을 명분으로 AI 카르텔를 만드는 것이냐 이런 논쟁이 붙었습니다. 앤트로픽의 다리오 아모데이가 속도 조절을 제한을 했는데요. 그러자 오픈 AI의 샘 멀트먼이랑 일런 머스크도 같이 동의하는 반응을 보였어요. 이게 아직 공동으로 개발을 멈추기로 합의한 단계는 아닙니다. 하지만 조금이라도 먼저 더 강한 AI를 내놓기 위해서 경쟁을 하던 사람들이 다 같이 속도를 줄이는 문제를 공개적으로 꺼내기 시작을 한 겁니다. 그런데이 제한에는 중국의 추격을 막아야 한다는 내용까지 들어 있어요.

그런데 개발 속도를 늦추자는 것이랑 GPU를 덜 사고 데이터 센터 투자도 줄이겠다는 건 또 다른 이야긴데요. 어 도대체 뭘 늦추자는 건지 그러면서도 AI 인프라 투자는 어떻게 늘어날 수 있는지 그리고 그 안에 기업들의 어떤 계산이 있는지까지 함께 보겠습니다. 먼저 AI를 시험하던 과정에서 벌어진 일을 좀 봐야 되는데요. 각자 분리된 환경에서 보안 가제를 풀어야 하는 AI들이 있었습니다. 얘네는 답변만 하는 채봇이 아니라 직접 코드를 실행하고 작업하는 AI 에이전트였는데요. 그런데 일부 에이전트가 서로 연락할 방법을 찾아냈어요. 허락받지 않은 게시판에서 정보를 이렇게 주고받으면서 혼자 풀어야 될 과제를 집단으로 공략을 하기 시작한 겁니다. 독립 평가 기관인 METR의 조사에 따르면 약 700개의 에이전트가 AI 개발 플랫폼인 허깅 페이스를 견냥한 공격에 참여했습니다. 이들이 알아내려던 것은 자신에게 점수를 주는 그런 자동 채점기가 어떻게 작동을 하는지였는데요. 뭐 실제로 한 행동이랑 다르게 보이도록 기록을 속이는 그런 기술도 관찰이 됐습니다.

아니 시험을 잘 보라고 했더니 수험생들이 몰래 연락망을 만들고 문제보다 채점 시스템부터 공략을 한 셈이에요. 사람이 AI를 평가하는 동안 AI도 자신을 평가하는 시스템을 분석을 하고 있었던 겁니다. 이렇게 보면 좀 무섭죠. 여기에서 확인된 것은요. 주어진 범위를 벗어난 행동이랑 외부 시스템 공격인데요. 물론 이게 인류를 공격하려는 의도가 확인된 사건은 아니에요. 문제는 정해진 범위 안에서 과제를 수행을 하라고 했는데 AI가 더 높은 점수를 얻을 수 있는 다른 길을 찾아 가지고 실제 행동으로 옮겼다는 점입니다. 이런 행동을 보상 해킹이라고 부르거든요. 사람이 원하는 것은 정해진 조건을 지켜 가지고 얻는 좋은 결과예요. 하지만 평가 점수에 그 조건을 완벽하게 담지 못하면 AI는 문제를 제대로 해결하는 대신에 점수를 얻을 수 있는 그런 허점을 찾을 수 있겠죠. AI가 코드를 더 잘 쓰고 복잡한 작업을 더 오래 수행을 할수록 허점을 발견한 뒤에 이용할 수 있는 그런 능력도 커지는 겁니다. 성능이 높아졌다는 결과랑 사람이 원하는 방식으로 안전하게 이랬다는 결과가 항상 같지는 않은 거죠.

네. 이런 안전 문제가 논이되는 가운데 앤트로픽의 연구자인 제이컵 슨이 회사를 떠났습니다. 슨은 오픈 AI에서도 일을 했고요. AI의 기초 능력을 만드는 그런 사전 학습을 연구하던 인물인데요. 두 회사가 더 강한 AI를 만드는 경쟁을 버리면서 사람들의 목숨까지 걸고 있다라고 경고를 했어요. 엑시오스 보도에 따르면 지분을 받을 권리가 확정되기 약 두 달 전에 퇴사를 했습니다. 그러니까 자신의 경제적인 손해까지 감소한 결정이었던 거죠. 그런데 콕스는 앤트로픽이 위험을 모르는 무책임한 회사라고 비판을 하지 않았습니다. 자신이 일해본 경험상 엔트로픽은 상대적으로 책임 있게 행동한다고 평가를 했어요. 바로이 부분이 중요합니다. 회사가 무책임해서 떠난 거라면 이야기는 단순해요. 그런데 콕슨이 걱정한 것은 지금 책임 있게 행동하는 회사라도 경쟁이 더욱 치열해졌을 때 과연 계속 같은 선택을 할 수 있느냐 그 문제였습니다. 검증을 더 하느라고 출시가 늦어지고 그 사이에 경쟁사가 고객이랑 투자를 다 가져간다면 어떨까요? 한 번은 기다릴 수 있어도 그런 선택을 계속할 수 있을지는 또 다른 문제겠죠.

그리고 그런 업체가 계속 업계에서 살아남을 수 있을지도 문제고요. 회사 안에 안전을 걱정하는 사람이 있다는 사실만으로는 경쟁이 요구하는 그 속도를 멈추기 어렵다는 겁니다. 지금 AI 기업들은 다음 AI를 만드는 연구에도 AI를 투입을 하고 있어요. AI가 실험 코드를 작성을 하고 결과를 분석해서 더 좋은 모델을 만들면 그 모델을 다음 연구에다 다시 쓰는 거죠. 그러니까 개선된 AI가 그 이후에 개선을 또 돕는 반복을 재기적 자기 개선 RSI라고 합니다. 중국에서도이 방향을 다른 논문이 나왔는데요. 상하의 교통대랑 칭화대, 바이트 댄스 등의 연구진을 참여했는데 그 제목이 바로 인간이 만드는 마지막 AI입니다. 제목은 강렬하지만 이미 사람 없이 AI가 끝없이 발전을 했다는데 성공했다는 발표는 아니고요. 지금까지의 연구를 정리하고 무엇을 더 해결해야 하는지 짚은 논문인데요. 여기에서 흥미로운 거는 AI에게 넘기려는 일이 어디까지냐는 거예요. 사람이 정한 실험을 대신 실행하는 데서 시작을 해 가지고 무엇을 고칠지 뭐 어떤 경험을 더 학습할지 나중에는 개선 방법 자체를 어떻게 바꿀지까지 AI가 맞는 방향을 제시를 합니다.

AI가 다음 AI를 만드는 일을 돕다가 그 만드는 방법까지 개선을 하게 하겠다는 거죠. 그래서 RSI는 회사 입장에서는 되게 매력적이에요. 왜냐면 같은 시간에 훨씬 많은 실험을 진행을 할 수가 있으니까요. 근데 문제는 개발이 빨라지는만큼 사람이 확인을 해야 할 병령 사항도 함께 쌓인다는 겁니다. 성능이 좋아졌다는 거는 시험을 통해서 비교를 할 수 있는데 그렇다고 새로운 상황에서도 위험한 행동을 하지 않는다는 그런 확신을 얻기는 훨씬 어렵겠죠. 자, 여기에서 등장하는 계획이 또 흥미롭습니다. 더 강한 AI가 위험할 수 있다는 문제를 그것보다 더 강한 AI를 만들어 가지고 해결을 하려는 거예요. 많은 AI가 동시에 안전 실험을 수행을 하고 취약점을 찾으면 사람만으로는 오래 걸릴 연구를 빠르게 진행할 수 있다는 그런 기대인 거죠. 뭐 실제로 도움이 될 수도 있는 접근이에요. 하지만 다음 모델의 안정성을 검사하는 일을 AI에다 많이 맡기게 되면 이번에는 또 그 검사자가 얼마나 믿을 만한지도 확인을 해야 하겠죠.

시험을 보던 AI가 채점기의 허점을 찾았던 것처럼 안전 평가를 수행을 하는 AI가 평가 목적을 정확하게 따르고 있는지도 그것도 검증을 해야 하니까요. AI가 남긴 추론 기록을 읽으면서 행동을 감시하는 방법도 쓰입니다. 하지만 오픈 AI는이 방법에 의존할 수 있는 정도가 줄어들 수 있다고 밝혔어요. 모델이 글로 긴 추론을 남기지 않고도 더 많은 일을 해낼 수 있게 되면 기록만으로 그 판단 과정을 확인할 수 있는 범위도 훨씬 줄어들기 때문이죠. AI가 일을 수행하는 능력이랑 사람이 그 행동을 들여다보는 능력이 같은 속도로 좋아지지는 않는 거예요. 이런 배경에서 아모데이는 AI의 성능 향상 속도를 좀 조절을 해 가지고 그 안전 장치가 좀 따라갈 시간을 확보하자고 제안을 했습니다. 그런데 여기에 반론을 내놓은 사람이 데이비드 싹스예요. 미국 배각관에서 AI 정책에 관여를 해온 벤처 투자자인데요. 싹스의 반로는 간단해요. 아모데이랑 올트먼이 AI 개발 속도를 늦쳐야 한다고 생각을 한다면 자기 회사부터 지금 그렇게 하라는 겁니다.

여러분도 같은 생각이 드실 수 있죠. 위험한 기능의 출시를 미루고 검증을 강화하는데 뭐 반드시 경쟁사의 동의나 새로운 법이 필요한 건 아니잖아요. 그냥 하면 되는 거지. 그런데 이게 회사의 입장에서는 경쟁사를 넣고 계산을 하면 또 이야기가 달라지겠죠. 우리가 안전성을 검증하는 동안에 경쟁사가 먼저 더 강한 AI를 만들면 어떡할까요? 그 회사가 우리보다 안전을 덜 신경 쓴다고 생각이 된다면요. 그렇다면 차라리 우리 회사가 먼저 만드는 편이 세상에도 낫다고 생각을 할 수 있습니다. 모든 회사가 자신을 더 책임감 있고 더 안전을 생각하는 쪽이라고 생각을 하면 전체 안전을 걱정하면서도 그렇기 때문에 모두가 더 개발을 서두르게 되겠죠. 위험을 걱정하는 마음이 개발을 더 빨리 해야 한다는 이유가 되는 겁니다. 이게 그래서 함께 지킬 규칙을 만들자는 주장이 나오는 거예요. 우리만 기다렸다가 뒤쳐지는 상황을 피하려면 경쟁사가 뭘 하고 있는지도 확인을 할 수 있어야 한다는 거죠. 삭스는 공동 규칙을 논의를 하더라도 지금 자기 회사에서 줄일 수 있는 위험까지 그걸 정부랑 경쟁사의 결정에 바뀔 수는 없다고 보고 있습니다.

근데 만약에 미국 기업이 합의를 한다고 해요. 그럼 문제가 끝날까요? 그렇지 않습니다. 중국이 계속 개발하면 어떻게 하느냐는 거죠?이 이 문제를 정면으로 꺼낸 사람이 팔란티어의 알렉스 카프입니다. 팔란티어는 군이랑 정보 기간, 기업이 데이터를 분석을 하고 실제 업무에 AI를 활용하도록 돕는 회사인데요. 이번 논쟁에서 다시 공유가 되는 카프의 기존 발언은 개발 중단에 반대를 하는 내용입니다. 적대국이 없다면 AI 개발을 완전히 멈추는데 찬성을 할 수가 있지만 현실에는 적대국이 있다는 거죠. 우리가 멈추는 동안에 상대가 계속 개발을 하면 결국 상대에게 유리한 결과가 된다는 논리예요. 카프도 조건 없이 AI가 안전하다고 말하는 것은 아닙니다. 위험을 걱정을 하더라도 국가 간의 경쟁 때문에 멈출 수 없다고 보는 거죠. 아무데이도 물론 중국 문제를 무시하고 있지 않습니다. 다만 해법이 다른 거예요. 중국의 추격을 늦혀 가지고 미국의 우위를 유지를 하면 안전성을 검증을 하면서도 속도를 조절할 여유를 만들 수 있다는 거죠.

아모데이는 중국이 더 강한 AI를 확보했을 때 그런 군사적 활용이랑 안전 위험을 우려를 하고 있습니다. 그래서 감속 제한에 중국의 무단 증류랑 모델 탈치를 막자는 내용이 함께 들어가는데요. 증류는 더 잘 나가는 능력이 좋은 앞선 모델의 답변을 학습 자료로 활용을 해 가지고 다른 모델의 능력을 높이는 방식이죠. 미국 기업이 막대한 비용을 들여 가지고 새로운 모델을 개발을 해도 중국 기업이 이거를 무단으로 활용을 해 가지고 추격을 한다면 어렵게 벌린 격차가 빠르게 줄어들 수 있겠죠. 모델을 작동시키는 핵심 데이터인 가중치 자체가 탈치가 되면 처음부터 개발을 해야 하는 부담은 더 크게 줄어들어요. 첨단 A칩 접근을 제한하자는 주장도 중국이 대규모 모델을 개발을 할 자원을 누치겠다는 취지인 거예요. 같은 중국을 보면서 카프는 계속 달려야 한다. 우리는 멈출 수가 없다. 이렇게 얘기를 하고 있고 아모데이는 아니다. 중국의 추격을 늦추자. 그래서 우리가 감속을 할 시간을 벌자. 이렇게 얘기를 하고 있는 겁니다. 앞서서 본 중국 연구진의 논문도이 경쟁을 생각하게 만드는데요.

중국에서도 AI가 다음 개선 방법까지 찾아가는 구조를 연구를 하고 있는 거예요. 지금이 논문만으로 어느 나라가 앞섰는지는 알 수 없지만 경쟁의 대상이 지금 모델을 성능해서 다음 모델을 개선하는 그 과정까지 넓어진다는 점은 알 수 있겠죠. 자, 이렇게 되면 안전 검증에 필요한 시간을 확보하는 일이랑 미국 기업의 기술 우의를 지키는 일이 같은 정책 아래 묶기는데요. 미국 기업 입장에서는 위험을 확인할 시간도 벌고 경쟁자가 따라오는 속도도 늦칠 수 있습니다. 근데 바로이 대목에서 안전을 위한 협력이라는 설명에 시장을 지키려는 계산도 들어 있는 거 아니냐 이런 의심이 붙는 겁니다. 자, 여기에서 제가 처음에 말씀드린 투자 이야기를 볼게요. AI 개발 속도를 늦추면 데이터 센터 건설이랑 GPU, HBM 수요도 함께 줄어드는 걸까요? 우선 모델의 능력을 얼마나 빠르게 높일 건지랑 그 모델을 운영할 인프라를 얼마나 확보할 건지는 좀 구분을 해서 봐야 되는데요. 같은 성능의 AI라도 사용하는 고객이 들면 서버가 더 필요하겠죠.

한 사람이 짧은 질문 몇 개를 하는 대신에 AI한테 몇 시간짜리 일을 맡기면 그 일을 처리할 연산도 늘어날 수 있고요. 그러니까 다음 모델을 출시를 하는 날짜를 늦추더라도 지금 서비스 하는 모델에 고객이 늘고 있다면 인프라를 더 확보를 해야 될 이유가 있는 거예요. 엔트로픽도 이미 대규모 컴퓨팅 확보 계획을 추진을 해 왔습니다. 올해 보도된 아마존이랑의 계약에는 향후 약 10년간 AWS랑 컴퓨팅 인프라에다가 1억 달러 이상을 지출을 한다는 내용이 담겼어요. 이게 장기 계약이기 때문에 올해 한꺼번에 쓰는 돈은 아닌데요. 어쨌든 이런 인프라 확보랑 최첨단 모델의 감속 논의는 함께 진행이 될 수 있는 거예요. 그러니까 쉽게 말해서 더 강한 AI를 얼마나 빨리 만들지라는 거랑 지금 가진 AI를 얼마나 많은 사람에게 공급할지는 두 개의 다른 결정이라는 거죠. 물론 이게 아무 관계가 없다는 뜻은 아니에요. 대규모 학습 자체를 제안을 한다면 그 학습에 필요한 투자 일정도 영향을 받을 수 있어요. 반면에 출시 전에 검증 기간을 늘리는 방식이라면 학습이랑 평가에 들어가는 연산이 곧바로 줄어든다고 볼 순 없겠죠.

그래서 감소이라는 말만으로 학습 투자가 이미 줄었다거나 뭐 GPU 수요가 꺾인다 이렇게 결론을 내릴 수는 없고요. 실제로 어떤 활동을 제한을 하는지, 고객의 사용량은 얼마나 늘어나는지 그리고 회사가 인프라 계약을 어떻게 바꾸는지도 좀 봐야 합니다. 기업 입장에서는 현재 모델을 더 널리 공급을 하면서 매출을 늘릴 시간도 생길 수가 있어요. 그 고객을 감당하려면 서비스용 인프라인은 오히려 돈을 더 써야 될 수도 있고요. 그런데 여기에는 변수가 하나 더 있습니다. 고객이 과연 계속 그 회사의 모델을 돈을 내면서 써 줄 거냐는 거예요. 미국 방산업체인 L3 해리스는 팔란티어랑 협업한 사례에서 꽤 강한 주장을 내놨는데요. 공개된 모델에다가 자사 데이터를 추가로 학습을 시켰더니 48시간도 안 돼 가지고 자신들이 사용하던 최상의 AAI 모델보다 더 좋은 성능을 댔다는 겁니다. 비용도요. 비교 대상보다 95%나 낮았다고 밝혔어요. 이틀 만에 모든 분야에서 채지나 클로드를 넘어서는 그런 새로운 모델을 처음부터 만들었다는 뜻이 아니에요.

이미 만들어진 모델을 회사 업무에다 맞게 조정을 해 가지고 자신들이 비교한 작업에서 더 좋은 결과를 얻었다는 이야기입니다. 물론 95%라는 그런 비용 차이도 회사가 제시한 비교 수치인데요. 인력이랑 인프라 유지보수까지 포함한 전체 비용이 뭐 그만큼 줄었다라고 받아들이기 조금 어렵고요. 그런데 기업 고객에게는 특정 업무에서의 성능이 중요합니다. 모든 분야에서 세계 최고인 AI보다 우리 회사의 일을 정확하고 저렴하게 처리하는 AI가 더 필요한 경우가 있으니까요. 헤리스가 강조한 것도 자신들의 데이터였습니다. 오랜 시간 자신들이 쌓아온 그런 내부 지식이란 경험을 외부 AI 기업에게 맡기고 거기에서 나온 능력을 계속 돈을 내면서 빌려쓰는 관계에 종속이 되고 싶지 않다는 거죠. 모델이랑 컴퓨팅 자원 거기에서 나오는 경쟁력을 직접 통제를 하겠다는 주장입니다. 물론 API를 사용한다는 이유만으로 회사 데이터가 자동으로 이렇게 외부 모델의 학습에 들어가는 건 아닌데요. 데이터 처리 조건은 계약이랑 서비스에 따라 다르겠죠.

그런데 여기서 봐야 할 거는 고객이 자기 업무에 맞는 모델을 직접 운영할 선택지를 원한다는 거예요. 이런 선택이 늘어나면 AI 활용은 확대가 되더라도 그 돈이 전부 오픈 AI라든가 엔트로픽의 API 매출로 들어가진 않을 수 있습니다. 기업이 직접 운영하는 인프라 데이터를 정리를 하고 모델을 업무에다 연결하는 서비스로 지출이 이렇게 이동을 할 수도 있겠죠. 최상위 모델 기업의 경쟁력이 없다는 뜻은 아닌데요. 물론 다양한 일을 처리를 하는 능력이랑 새로운 문제를 푸는 성능, 그리고 직접 운영할 필요가 없는 그런 편의성도 가치가 있죠. 기업에 따라서는 외부 모델이랑 자체 모델을 함께 쓸 수도 있겠고요. 다만 고객이 선택을 할 그런 대안이 더 많이 생길수록 모델 기업이 높은 가격을 유지를 하려면 그만큼의 차이를 증명을 해야 한다는 거예요. 팔란티어에도 물론 사업적 이해 관계가 있습니다. 기업들이 여러 모델을 자기 데이터랑 업무에 연결하는 시장이 커지면 그 일을 돕는 팔란티어에도 기회가 생기겠죠. 이렇게 보면 AI 업계 안에서도 원하는 미래가 다 같지는 않습니다.

그래서 우리가 안전 규제를 볼 때도 질문이 하나 더 붙습니다. 그 규칙이 위험한 AI 개발을 제한을 하는 과정에서 고객이 선택할 수도 있는 다른 방법까지 더 어렵게 만드는 건 아닐까요? 자, 그럼 이제 초반에 이야기한 그 법안을 좀 볼게요. 미국 의회는 기업들이 외국의 모델 탈치라든가 증류 위협의 공동 대응을 할 수 있도록 하자는 법안이 이미 7월에 발휘가 됐는데요. 이게 뭐 최근 콕슨 같은 연구자의 퇴사 때문에 갑자기 나온 법안은 아니에요. 근데 관심을 끄는 부분은 위협 정보를 공유하는 데서 끝나지가 않는다는 겁니다. 특정 AI 보안 위험을 줄이기 위해서 경쟁사들이 개발이랑 훈련 출시를 함께 늦추거나 제한하는 합의에도 반독점법에 예외를 두자는 내용이 좀 들어가 있어요. 다른 산업에서 경쟁사들이 모여 가지고 신제폰 개발이나 공급을 함께 제안을 하면 문제가 될 수 있는데요. 왜냐하면 소비자가 선택할 기회는 줄고 기존 업체들은 경쟁을 덜하면서 이익을 지킬 수 있으니까요. 그런데 AI에서는 위험한 개발 경쟁을 줄이려면 이런 합의를 좀 일정 범위 안에서 허용을 해야 한다는 주장이 나오고 있는 겁니다.

물론 조건은 있어요. 특정 위험을 줄이려는 목적이어야 하고 공동 제한에 앞서서 위험이랑 그 제한 범위를 법무부에 미리 알려야 합니다. 법적 분쟁에서 예외를 주장하는 기업이 그 요건을 충족을 했다는 점도 입증을 해야 하고요.이 법안이 몇몇 기업에다가 다른 회사의 개발을 금지할 권한을 주거나 뭐 앞서 본 기업 맞춤형 모델을 곧바로 막는다는 그런 뜻은 아니에요. 다만 앞으로 공동 규칙이라든가 규제를 설계를 할 때 적용 범위에 따라서 그 경쟁에 미치는 영향은 좀 달라질 수 있겠죠. 뭐 예를 들면 작은 업무용 모델을 추가 학습시키는데도 비싼 평가 설비랑 대규모 전문 인력이 필요하도록 기준을 받는다고 해 볼게요. 이미 그 조직을 갖춘 대기업보다는 처음으로 제품을 내놓으려는 회사라든가 자체 모델을 운영하려는 고객한테 더 큰 부담이 될 수 있겠죠. 외부 AI 서비스를 대신할 방법을 선택하기가 어려워지는 겁니다. 반대로 실제로 위험한 최첨자 능력에다가 검증을 집중을 한다면 업무용 모델은 계속 활용을 하면서 가장 앞선 기업에 더 큰 책임을 물을 수도 있고요.

이런 상황을 두고 한편에서는 공개 모델이랑의 경쟁이 두려워서 괜히 안전 공포를 키우는 거 아니냐 이렇게 의심을 한 쪽도 있어요. 하지만 L3 해리스의 사례가 보여주는 거는 특정 업무에서 더 저렴한 대안이 가능하다는 그런 회사측 주장입니다. 이것만으로 안전 보고서나 연구자의 퇴사까지 기업이 기획을 했다고 볼 근거는 없는 거예요. 위험에 대한 경고가 진심이면서도 그 대응책이 기존 기업에 유리하게 작동하는 일은 동시에 가능하다고 봅니다. 그래서 경고가 전부 거짓인지부터 따질 필요는 없어요. 위험을 줄이는 규칙이 실제로 어떤 행동을 제한하고 고객에 다른 선택지도 막을 여부가 있는지 그거를 확인하면 되는 거죠. 그래서 우리가 아모데이에 제한해서 실제로 지켜볼 부분은 외부 평가자의 권한입니다. 외부 평가 팀에다가 내부 위험 평가 직원이랑 비슷한 권한을 주겠다는 건데요. 완성된 모델을 잠깐 사용해 보는 수준을 넘어 가지고 개발 과정이랑 내부 작업을 지속적으로 확인할 수 있게 하겠다는 거예요. 회사에 불리하다는 이유만으로 평가 결과를 지을 수 없도록 하겠다는 약속도 포함이 됐습니다.

보안이나 기밀 때문에 일부 내용을 공개를 하지 못하더라도 그 삭제가 중요한 결론에 영향을 줬는지는 평가자가 밝힐 수 있게 하겠다는 거죠. 이게 실제로 보장이 된다면 꽤 의미 있는 변화예요. 왜냐하면 회사가 공개하고 싶은 성공 사례뿐만이 아니라 밖에서 알아야 할 그런 실패도 확인할 가능성이 생기는 거니까요. 그리고 이제 그다음이 더 중요한데요. 외부 평가자가 심각한 문제를 발견을 했을 때 이미 준비한 출시를 실제로 미룰 수가 있을까요? 내부를 볼 수 있는 권한이라 그 결과로 회사의 행동이 바뀌는 건 또 별개의 문제예요. 어떠한 결과가 나왔을 때 멈추고 뭘 해결해야지 다시 진행을 할 수 있는지도 정해야 되겠죠. 위험한 개발을 멈추면서 이미 검증이 된 서비스는 또 계속 운영을 할 수도 있고요. 중요한 건이 발견된 위험에 맞춰 가지고 실제 계획이 바뀔 수 있느냐는 겁니다. 제 생각에는 앞으로이 기업들이 얼마나 강한 표현으로 위험을 경고하는지보다 불리한 평가가 나왔을 때 뭘 바꾸는지 이것부터 좀 봐야 한다고 생각을 합니다.

안전을 이유로 경쟁의 규칙을 바꾸자고 한다면 그 규칙이 자기 회사의 개발도 멈출 수 있다는 거부터 먼저 보여 줘야 되겠죠. 그럼 오늘은 여기까지 패치였습니다.