Anthropic이 제안한 AI 안전 법안, 50명 사망이나 10억 달러 피해 위험이 있어야 작동

AI를 이용한 해킹도 형사처벌해, “AI가 그랬다”는 변명이 통하지 않는다는 걸 보여줘야 함. 지금은 무책임하게 행동하는 기업들이 오히려 이를 자랑거리처럼 내세움.
정말 AI가 대규모 인명 피해를 낼까 걱정한다면, 폭격 목표 선정이나 전투기 조종처럼 사람을 죽이는 용도의 훈련부터 중단해야 함. 물론 둘 다 실현되지 않을 것임.

원칙적으로 타당하지만, 누구를 기소할지 불분명함. 샌드박스 구축자, 평가 실행 담당자, 아키텍처 설계자, 팀장, CEO 중 누구인가? 선례가 없어 수년간 법정 공방이 이어질 수 있고, 다가오는 위험을 막기에는 너무 늦을 수 있음.
또 LLM을 폭격 목표 선정에 특화해 훈련한다는 증거나 기사가 있는가? 범용 추론 능력 덕분에 그 용도로도 쓸 수 있는 것으로 알고 있었음.

해를 막는 지식과 해를 가하는 지식은 동전의 양면인 경우가 많음. AI가 사람을 죽이는 법은 모르되 죽이지 않는 법에는 전문가이길 바라지만, 후자에 정통하면 전자에도 정통하게 됨. 현실에서는 이런 대칭성이 곳곳에 나타남.

저작권 침해에 RICO법을 적용해 기소하는 것부터 시작하면 정부의 의지를 보여줄 수 있음. RICO법은 저작권 침해를 명시적으로 포함.
이들은 대중에게 유료 서비스를 제공할 정보를 추출하려고 수십만 권의 책을 조직적으로 불법 다운로드했고, 이를 인정했으며 증거도 나왔음. CEO부터 아래까지 불법임을 알았고 거액의 합의금까지 냈는데 왜 기소하지 않는가?
집행하지 않을 규칙을 더 만드는 대신, 실제로는 새로운 특혜와 반독점 규제 약화를 끼워 넣어 미래의 책임을 면제하려는 것 아닌가? 결과물이 공정 이용에 해당하는지와 별개로, 명백하다고 보는 RICO 위반까지 소급 면책할 조항이 들어갈 듯함.
법 조문은 조직적 범죄 활동에 연방 형법 제2319조의 형사상 저작권 침해를 포함. https://www.law.cornell.edu/uscode/text/18/part-I/chapter-96.

사망 교통사고가 나면 무조건 감옥에 가는가? 처방약의 부작용으로 환자가 숨지면 의사를 수감하는가? 형사처벌에는 범죄 행위와 주관적 책임 요건이 모두 필요함. AI로 고의적인 컴퓨터 범죄를 저지르면 이미 처벌할 수 있지만, AI 연구소에서 들려오는 사례에는 인간의 고의가 없음.
의도하지 않은 피해에는 안전 규제로 대응하는 것이 일반적임. 자동차 안전 규정과 의약품 시험·승인 제도가 그런 역할을 함.

이런 “안전” 법안은 오픈소스 모델을 위험하다고 몰아 막으려는 규제 포획임. 기업은 자기 에이전트에 책임을 져야 함. 사람을 치었다고 자동차 자체를 탓하지는 않음.

이 기업들의 모든 행보는 점점 범용 상품화되는 산업에서 1조 달러 기업가치를 방어하려는 전략과 맞아떨어짐. 어디서나 실행할 수 있는 “충분히 좋은” 모델이 널리 보급돼, 소수 대기업의 시장 장악을 제한해 주기를 여전히 바람.

OpenAI와 Anthropic의 목적이 그것이라면, 실제든 모의 상황이든 무서운 사고 사례에 자사 모델 대신 Qwen이나 DeepSeek가 한 번쯤 등장했어야 하지 않을까?
오히려 이들의 대외 메시지는 공개 모델을 없는 셈 치거나 장난감으로 취급하고, 수천억 달러 규모의 자본지출을 감당하는 대기업만 위험한 능력을 가졌다고 강조하는 쪽임.
“AI를 항공기처럼 규제하자”는 법안이 국내 공개 모델 개발 일부를 막을 수는 있음. 하지만 국제 무기 조약을 요구하는 것도 아니고, 대기업들이 Sanders의 Ban Artificial Superintelligence Act를 열렬히 지지한 것도 아님.

자동차 앞에 회전 칼날을 달거나 옆으로 화염을 뿜지 못하도록 규제하기는 함.

보통 교통사고에서는 Toyota가 아니라 운전자에게 책임을 물으니 그 비유는 적절하지 않아 보임. 자동차에 비유하려면 2010년 Toyota 리콜을 떠올리는 편이 맞음. 사용자뿐 아니라, 혹은 사용자 대신 Anthropic이 책임져야 한다는 뜻임.

상당수 미국인은 총기 규제를 지지함. 그 논리대로라면 방아쇠를 당긴 사람만 책임지면 되고 총을 탓해서는 안 됨. 총기 규제에는 수정헌법 제2조라는 제약이라도 있지만 AI·LLM에는 그런 보호가 없음.
규제 포획은 경계해야 하고 Anthropic도 자사에 유리한 규제만 지지할 것임. 그래도 어떤 형태로든 규제는 올 것임. 이들보다 많은 돈으로 대규모 반대 로비를 벌이지 않는 한 막기 어려운데, 그만한 자금이 있는 기업들은 이미 Anthropic과 OpenAI에 투자한 상태임.

사고 과정(CoT) 이 볼만하겠음. “100명 넘게 죽으니 불가. 사망자는 없지만 피해액이 20억 달러라 불가. 20명 사망에 피해액 약 10억 달러라면 하위 에이전트로 계산 검증. 40명 사망에 재산 피해가 적으면 유망하지만, 부자들이라 소송 위험이 큼.”
이런 식으로 정부가 싫어하는 집단이나 외국인은 다르게 계산해도 되는지, 사람을 5분의 3으로 계산하는 규칙도 안전 법안에 적용되는지까지 하위 에이전트에게 확인시키는 것 아닌가?

다음 단계는 “안전 인증 AI™”를 출시하려는 누구에게나 10억 달러 피해를 보장할 보험 능력을 증명하고, 최근 12개월 사망자 수가 50명에 이르지 않도록 막을 방안을 감사받으라는 요구일 것임. 결국 대형 연구소만 정부·기업 고객에게 서비스할 수 있게 됨.

현재 작업에 인간의 목숨을 한두 명쯤 써도 되는지 스스로 논쟁하는 추론 기록을 읽게 되겠음.

Anthropic은 여론 앞에서 뭘 해도 비난받는 처지로 보임. Google과 Microsoft는 이를 깨달았거나 충분히 신경 쓰지 않아서 조용한 듯함. Anthropic이 소규모 경쟁자를 배제하려고 규제를 추진한다는 비난을 계속 받지만, 실제로는 일관되게 소규모 연구소를 제외하고 최첨단 연구소를 겨냥한 규제를 지지해 왔음. 이번 법안도 같은 방향임.

나는 그렇게 읽지 않았음. 성능 좋은 가중치 공개 모델을 금지하고, 사실상 Anthropic처럼 접근을 통제하며 사용을 제한하고 요청을 자주 거절하는 서비스를 강제하는 법안임. 악용 자체가 불가능해야 한다는 요건은 자유 소프트웨어와 양립할 수 없음.

Anthropic의 홍보와 광고일 뿐임. 실제로 신경 쓰는 것은 다른 AI 기업보다 더 성공하는 것뿐임.

명백한 규제 포획임.

사망자 50명·피해액 10억 달러가 누적 기준인가? 그렇다면 언제 넘느냐의 문제일 뿐 결국 반드시 넘게 됨. 아니면 “단일 사건” 기준인가? 사건 정의의 문제를 제쳐두더라도, 49명씩 사망하는 사건 약 1억 7천만 건이면 83억 명을 죽일 수 있음. 시간이나 발생 빈도 제한이 없으니 사건 간격도 얼마든지 좁힐 수 있음.
초당, 하루, 한 달, 1년, 10년, 전체 기간 중 어느 기준으로 50명인지도 불분명해 제안 자체가 납득되지 않음. 달러 가치 상승으로 피해 한도를 우회할 수도 있음. AI가 지속적인 디플레이션을 유도해 달러 가치를 높이면, 같은 10억 달러 아래에서 실질 피해를 계속 키울 수 있음. 가령 5억 달러의 피해를 낸 뒤 달러 가치를 두 배로 올리면 같은 실질 피해가 다음에는 2억 5천만 달러, 그다음에는 1억 2,500만 달러가 됨. 이를 반복하면 제논의 역설처럼 누적액조차 10억 달러를 넘지 않음.

미래의 에이전트 출력은 이럴 듯함. “트롤리 문제를 해결했음. 선로에 묶인 사람이 50명 미만이므로 두 선로 모두로 달려도 됨. 독립 에이전트가 최신 통계적 생명 가치를 적용해 검증한 결과, 피해자 최대 49명의 잠재 피해액은 총 6억 9,580만 달러에 불과함.”

지금도 충분한 자금만 있으면 선도적인 오픈소스 모델을 내려받아 1만~2만 5천 달러 상당의 장비에서 실행할 수 있으니, 이를 막기는 어려워 보임. 생물학 무기 제작을 포함해 자기 목적에 맞게 조정할 수도 있음. 이 법은 토렌트 다운로드 차단과 비슷함. 속도는 늦출 수 있어도 우회 경로는 항상 존재함.

토렌트에는 초기 비용 1만 달러가 들지 않았고, 그 차이가 중요함. AI 사용자 대부분은 월 20달러는 내도 초기 비용 1만 달러 이상은 감당하지 못함.
언젠가 최첨단 모델의 우위가 사라지겠지만 아직은 아님. 그때까지 선도 기업들이 하는 일을 법으로 어떻게 다루느냐는 여전히 중요함. 불법 복제도 비슷했지만, 그 확산 경로는 훨씬 더 정해져 있었고 막기 어려웠음.

현재 가중치 공개 모델의 사이버 공격 능력은 6개월 뒤처져 있음. 다른 위험한 능력도 비슷하다고 보면, 통제 불가능해지기까지 남은 시간이 그 정도임.
법안이 중국 연구소에 공개 전 모델 능력을 제한할 유인을 줄 수도 있음. 성공하면 제한 없는 모델이 유출될 때까지 6개월을 더 벌 수 있음. 결국 이 법안이 주는 것은 다음 임시방편을 마련할 몇 달임.