Ed Zitron을 그리 좋아하지는 않지만, 이 말은 머릿속에 남아 있음. OpenAI와 Anthropic은 “강력한 AI가 잘못된 이들의 손에 들어가면 어쩌나?”라고 끊임없이 경고하지만, 이미 잘못된 이들의 손에 들어가 있음.

세계에서 가장 미움받는 인물 중 하나인 Musk가 여기에 끼어 있다는 사실만으로도, 이런 이들에게 우리의 미래를 조금이라도 맡겨도 되는지 재고해야 함.

더 나쁜 이들의 손에 들어갈 수도 있음. Sam Altman이 성인은 아니더라도 옴진리교 광신도들보다는 나음.

온 세상이 이미 잘못된 이들의 손에 있음. 오히려 AI가 주도권을 잡는 것이 희망일 수도 있음.

인류에게 막대한 피해를 주거나 멸종을 초래할 확률이 10~25% 라고 진심으로 믿으면서, 어떻게 그 일을 그토록 열심히 할 수 있는지 이해하기 어려움. 정말 그렇게 믿으면서도 괜찮을 수 있는가?

앞선 파멸론 글에도 적었지만, Anthropic 초기 직원들은 대부분 합리주의 커뮤니티와 가까운 AI 안전 연구자들이었고, 3년 전 거의 한결같이 P_DOOM > 0.10을 내세웠으니 진심이라고 봄.
최첨단 모델을 만들지 않는 소규모 안전 연구소들을 제외하면, Anthropic이 그 집단 안에서 OpenAI보다 좋은 평판을 유지하는 게 흥미로움. 내부 정치도 OpenAI만큼 심한데, 생존 경쟁의 압력 속에서 초기의 안전 우선 비전에서 벗어나 OpenAI와 상당히 비슷해진 듯함. 적어도 밖에서는 그렇게 보이는데, 내부에서는 얼마나 다르게 보는지 궁금함.
덧붙이자면 AI 안전 커뮤니티에서 상대적으로 나은 평가를 받을 뿐, 절대적인 평판은 Anthropic도 하락했다고 봄. 최근 이 글과 관련 자료에서도 일부 확인할 수 있음. https://www.lesswrong.com/posts/6j3kBHdowGLCeqobg/dear-god-p.

맨해튼 프로젝트가 성공했으니, 이런 일을 감수하는 이들이 있다는 건 분명함. “우리가 세계를 끝장낼 수도 있는 폭탄을 만들지 않으면 누군가 먼저 만들 것”이라는 정당화도 비슷함.

자신이 그만두는 것보다 계속 일하는 편이 위험 확률을 낮춘다고 믿는다면 가능함.

논리는 이러함. 파멸 확률은 1이지만 우리가 만들면 0.25로 낮아지고, 실제로 파멸한다면 맨 앞자리에서 지켜볼 수 있다는 것임.

냉전기에 핵무기를 만들거나 관련 업무를 한 이들이 수천 명은 됐을 것임. 인간은 결과가 불분명한 확률적 위험을 합리화하는 데 아주 능숙하며, 그에 상응하는 이득이 있으면 더 그럼. 기후변화, 약물 중독, 건강 문제도 마찬가지임.
일부는 AI가 트랜스휴머니즘적 유토피아를 만들 것이라는 망상에 빠졌다고도 봄. Dario Amodei조차 때때로 이쪽으로 기울어짐. 이런 연구소에서는 하루 중 상당 시간을 아첨하는 AI 모델과 대화하며 망상적 발상을 부추김받을 것 같음.

누구나 쓸 수 있는 강력한 기술에는 속도 조절 장치가 내장돼 있고 이것이 가장 진정한 상호확증파괴나 확산이라는 대목은, 상호확증파괴(MAD) 를 오해해 글 전체의 설득력을 무너뜨림. 모두가 핵무기에 동등하게 접근할 수 있다면 사회는 금세 사라질 것임. 소수의 악의적 행위자만으로도 엄청난 피해를 낼 수 있음.
OpenAI와 Anthropic이 내일 개발을 멈추면 해결될 것처럼 보는 것도 순진함. 그 자리를 빠르게 차지할 다른 이들이 없을 리 없음. Dario가 짚는 진짜 문제는 공조임. 모두가 중단에 동의해야 하며, 그게 어려운 과제임.

이런 상황은 아주 흔하고 정부 개입이 해법인데, 하필 역사상 가장 부패한 행정부가 권력을 쥔 때 이 과제를 맞닥뜨린 게 불운임.

이 사태가 얼마나 어리석고 고통스러운지 여러 측면을 짚으면서, 내가 느끼는 바를 이만큼 가깝게 담은 글은 처음임. 이번 주에는 이런 글이 특히 좋았음. Armin과 그의 작업을 대단히 존경하는 만큼 반가우며, 다른 이들도 정신을 차리는 계기가 되길 바람.

자체 제품이 통제를 벗어나지 않도록 막을 보안 역량조차 부족한데, OpenAI가 이 사이버보안 실패를 마케팅 성공으로 바꾼 것이 황당함.
기업이 자사 제품으로 다른 기업을 해킹하면 범죄임. “실수로” 그랬다면 중대한 과실이고 책임자가 물러나야 함. 그런데 “AI”를 세 번 외치면 마케팅 기회가 됨.

OpenAI가 그런 식으로 포장했다고는 생각하지 않음. 통제를 벗어난 AI의 실제 위험을 부정하는 인터넷 댓글들이 홍보용 연출이라고 단정한 것 같음.

글에서는 AI가 비용을 높인다고 하지만, 내 경험상 이 정도 생산성 향상에 월 200달러는 저렴함.
토큰을 할인 판매하고 구독에서 손해를 본다는 추측도 근거가 없음. 구독이 API 요금보다 저렴한 건 확실하겠지만, 둘 다 단위당 수익성은 양수일 것으로 봄.

AI는 이미 많은 물건을 비싸게 만들고 있음. 메모리 가격이 노트북과 휴대폰 가격을 터무니없는 수준으로 밀어 올렸고, 점차 자동차·TV·에어컨·냉장고 등으로 번질 것임. 소프트웨어를 배포하고 운영하는 클라우드 컴퓨팅 비용도 이미 오르고 있으며, 결국 소프트웨어 가격까지 높아짐.
그동안 임금은 오르지 않고 고용시장은 줄어들 테니, 불필요한 소프트웨어 구독부터 지출을 줄이게 되고 소비와 경제 전반에 연쇄적인 영향을 줄 것임. 그래도 당신의 200달러 구독은 값어치를 했다니 다행임.

“지금은 Anthropic과 OpenAI 두 회사만 의미가 있다”니, 재귀적 자기 개선(RSI) 에 가까워지고 있을지도 모르는 미국 선두 연구소들까지 너무 쉽게 무시함. ‘지금’이라는 시점을 엄격하게 고정하는 것도 이상함. 7년 전 GPT-2가 나온 때가 무슨 아득한 과거라도 되는 것 같음.

나도 여러 세력이 공존하길 바라지만, 현재 최첨단은 정말 그 두 회사뿐이라는 말은 맞음.
Google은 뒤처졌고 MSL은 좀 낫지만 큰 차이는 없음. xAI는 제대로 돌아가지도 않으며 Thinking Machines는 최첨단 수준이 아님. SSI의 주된 결과물은 출범 공지이고, Poolside는 NVIDIA에 인수됐음. Arcee는 최첨단을 겨루려는 곳이 아니고, Magic은 최근 블로그 글 외에는 거의 소식이 없음. Reflection은 아무것도 출시하지 않았음.

내가 놓쳤을 수도 있지만, “최첨단 개발 속도 조절”을 기술적 한계에 부딪혔다는 뜻으로 해석하는 글을 찾아봤음. 당분간 혁신을 기대하지 말라는 뜻이거나, 다른 더 급한 일을 처리하려는 핑계일 수 있지 않을까?
공포는 어떤 감정보다 강력하니, 이를 심어두면 기업공개 때 투자자에게 떠넘기고 빠져나가기 좋은 기반이 될 것임. 전원이 연결된 컴퓨터도 위험할 수 있고 언젠가는 전원을 끊기에도 늦을 수 있지만, 이런 얘기는 다 자극을 위한 것처럼 보임. 가능한 해석일까?

GPT-2 이후 개발 감속을 요구할 때마다 이 가설이 나왔지만, 매번 한계에 도달한 게 아닌 것으로 드러났음. 언젠가는 한계에 닿겠지만, 지금으로서는 합리적인 해석이라고 보기 어려움.

AI가 멸종을 일으키지 않고 아무도 속도를 늦추지 않아도 인류가 별로 걱정할 일이 없다고 믿는다면, 파멸 확률을 0으로 보는 것임. 그러면 시장 집중이나 소프트웨어 개발의 즐거움을 잃는 일을 걱정하는 게 자연스러움.

파멸 확률의 문제는 누가 제시한 수치든 진지하게 검증할 방법이 내게 없다는 것임. 결국 해당 분야 전문가에게 의존할 수밖에 없음. 최근 한 바이러스학자는 십 대가 프롬프트로 인류 멸망 바이러스를 만들어낼 수 없다고 설득력 있게 풀어냈음. 그런 바이러스는 존재하지 않고 만들어질 가능성도 낮으며, 생물학적 상충관계와 극도로 어려운 단계가 너무 많기 때문임.
그래서 생물무기로 인한 인류 존립 위협 확률은 0으로 가정하려 함. 대유행은 수백만 명을 죽일 수 있지만 모두를 죽이지는 못함.

RSI 관련 부분은 너무 짧게 넘어가서, 좀 더 깊이 다뤘으면 좋았겠음. 그래도 좋은 글임.