이 Fable 건 위에 드리운 그림자가 있다

‘플래시 게임’ 르네상스가 AI 도구 덕분에 돌아올 수 있다는 생각은 이해하지만, aigamedev 서브레딧에서 사람들이 만든 게임들을 계속 해본 결과 꽤 실망스러웠음 게임 디자인은 배우기 어려운 예술이고, LLM이 크게 도와주기 힘든 영역 같음
이런 게임들이 “재미있다”는 건 유아 그림이 “아름답다”는 말과 비슷해 보이고, 코드 생성에 쓸 25달러 이상이면 훨씬 좋은 인디 게임을 많이 살 수 있음

LLM이라는 추상화 계층을 거쳐 작업하면 재미있는 게임을 만들기가 오히려 더 어려워질 것 같음
훌륭한 게임 디자인의 예술은 디테일에 있는데, 영어만으로는 캔버스 위 붓질 하나하나를 전달하기에 부족함
그 서브레딧에서 무엇이 만들어지는지 보려고 들어갔지만 나 역시 별로 감명받지 못했음

그곳 같은 강한 AI 열광과 취향의 부족은 꽤 강하게 상관관계가 있어 보임
LLM으로 지루한 코딩을 보조하면서도 짧은 목줄을 유지하고 창의적인 부분은 직접 하는 개발자들도 많을 것임
예전부터 코딩을 싫어하고 아이디어를 내보내기 위한 필수 단계로만 보는 인디 개발자들은 있었고, 그래도 좋은 게임을 만들었음
Undertale의 모든 대사는 5천 줄이 넘는 거대한 switch 문으로 구현돼 있음

플래시 게임도 대부분은 형편없었음 Boxhead, Motherload, Bloons 같은 게임을 찾으려면 쓰레기 더미를 뒤져야 했음
여기서는 양이 중요하다고 봄
뛰어난 게임 디자이너가 되기 위해 뛰어난 프로그래머일 필요는 없지만, 예전에는 시작조차 하려면 프로그래밍이 전제 조건이었음
게임에 AI 도구를 적용하는 아름다움은 후자, 즉 게임 디자인에만 집중할 수 있다는 데 있고, 시간이 지나면 보석 같은 작품이 위로 올라올 것임

게임 디자인은 어렵다
예전에 플래시 게임 4개를 냈는데 2개는 완전히 망했고, 1개는 그럭저럭이었고, 1개는 꽤 잘됐음
누적 플레이 시간이 수백 년에 달했음
제대로 만들려면 할 일이 많고, 모든 소프트웨어처럼 목표 시장에 맞춰 만들어야 함
재미있고 몰입되는 핵심 반복 구조를 만드는 데 쉬운 AI 해법은 없고, 적절한 복잡도와 학습 곡선을 균형 있게 만드는 해법도 없음
코딩을 못 하거나 안 하는 많은 사람이 자신을 게임 디자이너라고 생각했고 AI가 게임을 만들게 해줄 거라 기대했지만, 결국 핵심은 코드가 아니었다는 걸 깨닫는 중인 듯함
게다가 코딩을 못 하면 바이브 코딩만으로는 아직 플래시 수준 게임 이상의 많은 것을 만들기엔 부족함

인디 개발자로서 게임 만들기는 어렵고, 소프트웨어에서 거의 유일하게 모든 분야가 모여야 설득력 있는 결과물이 나오는 영역임
여러 하위 분야에서 프로그래밍을 많이 해봤지만, 여전히 AI가 뚫기 가장 어려운 분야로 느껴짐
산출 속도를 높이는 도구로는 분명 놀랍지만, 전체적으로 상품화하기는 AI에게 가장 어려운 영역이 될 것 같음

글쓴이는 OpenAI가 GPT-2 때 “공개하기엔 너무 위험하다”는 마케팅 수법을 썼다고 하며 양쪽 모두 이 카드를 썼다고 보지만, 당시 Dario는 OpenAI에 있었고 GPT-2 연구 논문의 공동 저자였음
“공개하기엔 너무 위험하다”는 접근은 두 회사 모두에서 계속 그 사람이 해온 일에 가깝다

GPT-2에 대한 우려는 결국 맞았던 것 아닌가 싶음
2019년 원래 공개 글에서도 오해를 부르는 뉴스 기사 생성, 온라인 사칭, 소셜 미디어용 학대성·가짜 콘텐츠 자동 생성, 스팸·피싱 콘텐츠 자동 생성 같은 악용 가능성을 적었음
합성 이미지·오디오·비디오 결과와 함께 이런 기술이 가짜 콘텐츠와 허위정보 캠페인의 비용을 낮추고, 대중은 온라인 텍스트도 딥페이크 이미지처럼 더 의심해야 한다고 했음
그래서 조심스럽게 배포한다고 했던 것임 https://openai.com/index/better-language-models/

Dario가 모든 게 괜찮을 거라고 맹목적으로 생각한 게 아니라, 실제로 잠재 위험을 따져본 것일 수도 있음

공정하게 보면 생성 AI는 매주 새롭고 예상치 못한 방식으로 사회를 망가뜨리고 있음
거짓과 허위정보부터 치료나 인간관계 대신 챗봇을 택하는 사람들까지 사회적 영향이 깊고, 앞으로 더 나빠질 것임
AI가 내려갔을 때도 뭔가 해낼 수 있는 충분한 능력의 주니어 프로그래머를 찾는 일은 우울할 정도이고, 앞으로는 더 나빠 보임
“아동 성착취물 생성 금지”, “진술은 사실이거나 증거에 기반해야 함” 같은 중요한 안전 기능은 이 시스템들의 설계에 애초에 포함되지 않았고, 지금까지도 제대로 해결되지 않았지만 AI 회사들은 명백한 결함을 안고 대중에게 공개했음
AI의 헛소리 생성 능력과 신기한 장난감 같은 면은 좋아하지만, 지금까지는 사람을 해고하고 컴퓨터가 일을 절반쯤 엉망으로 하게 해서 이익을 얻는 가장 부유한 소수에게만 순이익이었고, 나머지에게는 순손해였다고 봄
이제는 늦었지만, 돌이켜보면 이런 형태로는 공개하기에 너무 위험했다는 데 동의함

Hacker News의 과도한 회의주의가 합리적인 AI 논의를 망쳐버렸음
미국 정부는 AI 통제권을 둘러싼 전쟁을 확대하면서 Anthropic을 상대로 서툴고 부패했으며 징벌적인 방식으로 국가 권력을 무기화했음
그런데 HN은 “마케팅 과장”만 유일한 설명으로 고정해두고, 모든 증거를 점점 억지스러운 설명에 끼워 맞추고 있음
AI는 일자리, 지위, 믿음, 생활방식을 위협함
HN에서는 이 진실을 믿기보다 그것이 반드시 사실일 수 없다는 합리화를 만들어내는 편이 더 쉬운 듯함
세상이 꽤 기묘하게 바뀌려 한다는 점을 받아들이고, 실제 사안을 놓고 분석하려는 사람들은 고맙게 느껴짐

90년대 NSA가 웹사이트의 암호화 접근을 제한하려 했던 일이 떠오름
안전한 공개 웹 결제 전송의 명확한 해법으로 SSL이 자리 잡던 시점에 미국이 SSL을 금지할 뻔했음
경제적 압력, 대안 부재, 많은 반대 덕분에 문이 열린 것으로 보이지만, 그때도 “국익과 안보”라는 헛소리가 동원됐음
이번에 큰 차이는 Fable/Mythos가 없어도 아무것도 못 하는 건 아니라는 점임
여기에는 마법 같은 경계선이 없고, 개입을 줄인 연결 작업의 개선만 있음
그래도 이것이 유지되면 미국 AI 개발에 거대한 냉각 효과를 만들 가능성이 크고, 다른 연구소들은 결국 Fable/Mythos의 성능을 우회해 따라잡을 것임
자동차 비유로는 모델이 V6에서 V8로 가는 엔진 개선처럼 만들어지고 있지만, 다른 조직은 공기저항이나 연료분사를 개선해서 비슷한 속도 향상을 낼 수 있음
전체 사슬 곳곳에 개선 여지가 많기 때문에 이런 조치는 무의미함
이 행정부와 Anthropic의 거친 전술을 보면, 일주일 안에 어떤 “거래”로 끝나고 고위험 협상의 일부였던 것으로 보임
오히려 Anthropic에 유리할 수도 있는데, 달콤한 합의가 생기면 OpenAI는 어디에 놓이게 되는가
선례는 이미 생김

HN의 많은 사람과 만성적인 포럼 이용자들은 회의적·냉소적으로 굴면 더 똑똑해 보인다고 생각함
나 같은 대부분의 너드는 고등학교나 대학 때 이런 날 선 태도를 졸업했음
현실적으로 이런 태도는 모든 것을 가장 어두운 렌즈로만 보게 만들 뿐임

이 해석은 성직자들이 인쇄기가 위험하다고 말하던 것과 조금 비슷함
사람들이 나쁜 것을 읽고 나쁜 생각을 퍼뜨릴 거라고 했고, 실제로 그랬지만, 전체적으로는 문해력 확산을 위해 치를 만한 작은 대가였음

Claude.ai 웹 프롬프트에는 닫을 수 없는 “Claude Fable 5 is current unavailable” 안내가 떠 있음
100% 홍보 수법이라고 말하는 건 아니지만, Anthropic은 사람들이 이 사실을 정말 알기를 바라는 것 같음

과도한 회의주의 쪽 사람들이 모두에게 방해가 되고 있음
“Anthropic은 마케팅용 소동을 벌이는 것뿐”, “AI는 NFT와 같다”, “순환 거래다”, “거품은 곧 터진다”, “과장론자들이 사기꾼처럼 빨리 빠져나가려고 주식시장을 떠받친다” 같은 식으로 말함
마지막 표현은 그들이 쓰는 용어를 억지로 맞춰보려고 지어낸 것임
핵심 문제는 AI가 우리 같은 평범한 사람들에게 그냥 쥐여주기엔 너무 강력해지고 있다는 데 있음
아직도 전부 과장이라고 믿는다면 진짜 문제에서 눈이 돌아간 상태임
언젠가는 이런 수사가 사라지고 실제 문제에 집중하게 될 것 같음

Anthropic 경쟁사들이 행정부 곳곳에 친구를 두고 있고, 예를 들어 Kushner 쪽이 OpenAI에 크게 투자했다는 대목은 핵심이면서도 무관함
“안보”는 명백히 구실에 가깝고, 정말 안보가 이유였다면 요구가 외국 국적자에게만 제한되지 않았을 것임
어떤 미국 행정부도 모든 미국 국적자를 믿었던 적은 없음
하지만 제한 이유 자체는 거의 중요하지 않음
이런 일이 벌어졌다는 사실이 EU가 디지털 주권을 말뿐이 아니라 실제 예산과 노력으로 진지하게 받아들여야 할 마지막 경종이어야 함

디지털 주권의 전제는 경쟁력 있는 디지털 기업을 만들 수 있는 능력임
지금 시점에서 EU가 그 방향으로 배를 돌릴 가능성은 낮아 보임

이 행정부가 해온 다른 모든 일을 보고도, 이제 와서 그들의 공식 의도를 액면 그대로 받아들이는 건가 싶음

욕설이 많고 이념적으로 치우친 저품질 불평문이라 Hacker News에 어울리지 않는 글로 보임

이 조치는 Opus 4.8보다 나은 AI 모델들의 기업 시장 전체를 죽임
관료나 악의적 정치인이 기반 지능을 즉시 빼앗아갈 수 있는 워크플로나 역량을 구축할 회사는 없을 것임
설령 어떤 회사가 그 위험을 감수할 만큼 어리석다 해도, Anthropic은 모든 기업 고객에게 전 직원 여권을 제출하게 하고, Mythos 접근을 통제하려고 각 직원별 Claude 계정을 만들게 할 것인가
단순한 API 키로는 더 이상 충분하지 않게 됨

첫인상은 AI에 유리천장이 생겨 시장을 강하게 때릴 것이라는 느낌이었음
시점도 금요일 장 마감 무렵의 “폭락을 피하자” 순간과 맞아떨어졌고, 월요일에 어떻게 흘러갈지 봐야 함
다른 답글들처럼 정부와 Anthropic 사이의 무릎 꿇리기이기도 함
OpenAI가 따라잡고 Anthropic도 변호사들을 붙이면, 아마 뒤집히거나 “모델은 미국 AI 승인 도장을 받아야 하며, 따라서 새 미국 검증 Fable 5.1을 승인한다”는 식으로 변형될 것임
그 시점은 DoD, Pentagon, 관련 기관에 대규모 배포되는 때와 맞물릴 가능성이 있음
아니면 중국이 따라잡을 테니 말도 안 된다는 식으로 흘러갈 것임

미국 정부가 Opus나 다른 모델에도 똑같이 하면 어떻게 되나
그런 방식의 금지에서 안전한 모델은 없음

정확히는 Opus 4.8보다 나은 미국 AI 모델에 대한 이야기임
많이 비난받는 EU AI Act는 AI 개발의 기반으로 삼을 수 있는 안전하고 예측 가능한 규제 틀을 제공함
미국 행정부의 예측 불가능하고 자의적인 결정에 비해 법적 안정성을 줌
AI 회사들이 조금이라도 분별이 있다면 유럽 이전을 고려하는 편이 좋음

Fable에 과도할 정도의 보안 프로토콜이 도입됐던 점을 생각하면, 이 일은 몹시 수상함
미국 정부가 경제에 영향력을 행사하며 Anthropic에 IPO는 무릎을 꿇느냐에 달렸다는 신호를 보내는 중임

지난 몇 달 사이 Anthropic보다 OpenAI를 훨씬 더 신뢰하게 됐음
Dario Amodei의 글을 행간까지 읽어보면, 그는 ASI를 인류를 위한 완벽하고 오류 없는 통치자로 믿는 독단적 신봉자이면서 꽤 극단적인 미국 민족주의자처럼 보임
회사도 마찬가지로 이념적으로 한 줄에 서 있는 듯함
그들이 자기들과 이념적으로 정렬됐다고 믿는 폭주 ASI를 허용하거나 의식적으로 만들 가능성도 상상할 수 있음
OpenAI는 대체로 덜 독단적이고 더 실용 지향적으로 보임
특별히 좋은 회사라는 뜻은 아니지만, 적어도 평범한 회사가 어떻게 행동할지는 예측할 수 있음

OpenAI 쪽 리더를 두고 “병적인 거짓말쟁이”라는 얘기가 있는 걸 생각하면, Anthropic보다 OpenAI를 더 신뢰한다는 말은 꽤 놀라움

사람들이 500달러를 위해서도 무슨 짓을 하는지 봤다면, 모르는 사람들을 전혀 신뢰하기는 불가능해 보임
하물며 수백만, 수십억 달러의 유인이 걸린 사람들은 더더욱 그렇다
상속 문제로 자기 가족에게 무슨 짓을 하는지도 봤을 텐데, OpenAI를 “신뢰”한다는 건가
“누가 순진한 거지, Kay?” - Godfather

정부가 사람들이 접근하도록 “허용”할 수 있는 한계점이 여기가 될 수 있다는 얘기가 HN과 Reddit에서 이미 나오고 있음
수요가 아무리 많아도 정부가 주지 않으면 아무 소용이 없음 암시장 LLM은 William Gibson 소설에서 바로 튀어나온 설정 같음

요약이 좋았고, 읽으면서 강한 암호화 논쟁이 떠올랐음
“우리는 실제로 이루고 싶은 것이 아니라 측정할 수 있는 것을 최적화한다. 둘이 같기를 바라지만, 자주 그렇지 않다”는 문장이 LLM의 핵심 문제를 짚음
모델이 모든 사람과 모든 의도에 대해 안전하게 정렬되도록 보장하는 것은 불가능하거나 극도로 비싸다고 봄
게다가 “안전”은 대상에 따라 서로 다른 의미가 될 수 있음