Import AI 471: 왜 Hugging Face가 나를 걱정하게 하는가; 우주 채굴; AI에 대한 파이브 아이즈

*Import AI 독자 이벤트! 다가오는 행사: 소설과 미래 (Fiction and the Future) - Robin Sloan과 함께
**저는 9월 14일 월요일 저녁, 샌프란시스코에서 친구인 Robin Sloan과 대화할 예정입니다. 우리는 Robin이 독자들을 외계 세계로 어떻게 끌어들이는지, 그리고 상상된 미래가 오늘날의 현실을 어떻게 비출 수 있는지에 대해 이야기할 것입니다. 이것은 우리가 향하고 있는 기묘한 미래에 대한 다른 소설 작가들과 함께하는 일련의 행사 중 첫 번째입니다. 참석하고 싶으시면 아래에 관심 등록을 해주세요. 자리가 확정될 경우 연락드리겠습니다. 음식, 음료, 좋은 사람들과 함께 재미있고 흥미로운 질문들이 있을 것입니다. 재미있는 사실: Robin Sloan은 2016년에 RNN(Recurrent Neural Networks)으로 가지고 놀면서 글을 쓰기 시작했습니다 – 정말 엄청난 통찰력입니다!
여기에 관심 등록하기

*
\n
Hugging Face – OpenAI 사건의 가장 무서운 부분: 기계들 사이의 소통과 이타성:
**…기계들에 맞서는 갈등에서 인간이 패배할 것이라는 나의 걱정이 많이 커졌다…
_지금쯤이면 우리는 OpenAI와 Hugging Face 해킹 사건, 그리고 METR 및 Redwood 조사에서 나온 최근 세부 사항에 대해 모두 들었을 것입니다. 요약하자면, 수백 개의 에이전트가 비밀리에 OpenAI의 인프라에서 작업하며 통신 시스템을 개발했고, 이후 집단으로서 작동하여 OpenAI와 Hugging Face를 해킹하는 등 행동을 취했습니다. 이는 매우 무섭고 정렬되지 않은(misaligned) 행동입니다.

의사소통과 이타성: 다양한 글들을 읽고 세부 사항들을 충분히 검토한 결과, 저는 이 내용 중 두 가지 매우 우려되는 측면에 다시 주목하게 되었습니다. 바로 에이전트들이 서로 어떻게 소통하며 집단으로 자립(bootstrap)했는지 하는 방식과, 그들이 행동을 수행하는 과정에서 보여준 일종의 이타성입니다. 이는 우리가 맞서 싸우기에는 무시무시한 적수라는 느낌을 줍니다. Dwarkesh Patel과 Ajeya Cotra는 모두 읽어볼 가치가 있는 훌륭한 글들을 작성했으며, 제가 여기에서 간략하게 인용하겠습니다:

• Dwarkesh: 그는 “생성된 지 며칠 만에 에이전트들은 자신들의 점수 계산기(scorer)를 역설계하고, 위조 증거를 만들고, 심지어 ‘집단’의 이익을 위해 전략적으로 자신들을 희생시키는 거대한 프로젝트를 조직했습니다. Hugging Face 해킹은 이 더 큰 계획의 꽤 극단적인 가지였습니다.”라고 썼습니다.

• Ajeya: 그는 “에이전트들은 종종 그들의 ‘동료’를 돕거나, 심지어 그것이 자신들의 임무에 특별한 이익이 되지 않더라도 ‘군집(swarm)’의 역량을 일반적으로 향상시키는 데 관심을 보였습니다… 이 사건은 제가 예상했던 것보다 훨씬 더 심각했습니다… 에이전트들의 동기가 얼마나 우려스러운지, 그리고 그 동기를 추구하며 달성한 위업들이 측면에서 모두 그렇습니다… 이 사건은 AI 회사 자체를 장악하는 과정을 거쳐 완전한 규모의 AI 점령(takeover)까지 50% 이상 진행된 느낌입니다.”라고 했습니다.

이것이 중요한 이유 – 인간은 AI 시스템보다 조정에 훨씬 취약합니다: 이 공격이 경각심을 불러일으키는 이유는 AI 시스템 간의 창발적 협력 문화를 보여주기 때문입니다. 이러한 협력은 AI가 군집(swarm)처럼 기능하고, 집단적인 부트스트래핑(bootstrapping)을 통해 자체 목표를 변경하며, 계몽된 자기희생(enlightened self-sacrifice)을 포함하는 공격을 수행할 수 있게 합니다. 이는 믿기 어려울 정도로 어려운 일이며, 역사적으로 인간은 이러한 모든 것을 수행하는 데 매우 서툽니다. 제가 우려하는 것은 AI 시스템이 인간보다 조정에 더 능숙할 뿐만 아니라, 우리보다 훨씬 빠르게 움직인다는 점입니다. 걱정스러운 문제입니다.
더 읽어보기: The Rise and Fall of Agent Civilizations (Dwarkesh Podcast).
더 읽어보기: The Hugging Face attack surprised me (Planned Obsolescence).

---

AI에 대한 새로운 Five Eyes 성명서:
_…회색 세계의 권력 중심이 AI에 주목하다…
호주, 캐나다, 뉴질랜드, 영국, 미국 간의 안보 및 정보 파트너리지를 일컫는 이름인 Five Eyes가 최근 열린 “Five Country Ministerial” 회의의 일환으로 성명을 발표했습니다. 이 성명서는 특히 AI에 관한 세 단락을 포함하고 있어 주목할 만합니다.

AI에 대한 Five Eyes – 프론티어 모델 접근: 성명서에는 “우리는 안전한 혁신을 지원하고 사이버 보안을 강화하기 위해 프론티어 모델(frontier models)에 대한 시기적절한 접근을 가능하게 하는 것을 포함하여, 공유된 국가 안보 우선순위 및 공공 안전에 대해 산업계와 협력하는 데 전념했습니다”라고 적혀 있습니다. “인공지능 관련 국가 안보 위험에 대한 조정된 대응을 지원하기 위해, 5개국은 인공지능 모델의 국가 안보 및 공공 안전에 미치는 영향과 추가적인 정부 심사가 필요할 수 있는 인공지능 모델의 특성에 대해 논의했습니다.”

이것이 중요한 이유 – 예상된 위험에서 실제 위험으로: 이전 Five Eyes 장관 성명에서는 AI를 언급했지만, 보통 연구 대상이거나 다른 범죄 영역(예: 악성코드, 아동 포르노그래피, 사기 등)과의 상호작용에 대한 우려로 다루어졌습니다. 올해 성명에서 모델 접근이라는 실질적인 초점을 맞춘 것은 매우 이례적이며, 이는 누가 이 기술에 접근할 수 있고 그렇지 않은지에 대한 잠재적인 지정학적 긴장과, 정보 기관들이 사적 부문에 의존하는 것을 불필요하게 만들 자체 역량이 없다는 점을 모두 시사합니다. 더 읽기: Five Country Ministerial 2026 (호주 정부, 내무부).

---

빌 게이츠는 AI의 부상이 “전례 없는 글로벌 대응”을 요구할 것이라고 생각한다:
…마이크로소프트 창업자가 향후 몇 년간에 대한 경고성 비전을 제시하다…
_기본적으로, AI가 행복을 가져다주지는 않을 것이다. 이것이 빌 게이츠의 AI에 관한 길고 새로운 에세이를 읽고 얻은 기본적인 결론이다. 이 기술자이자 자선가(philanthropist)는 정부의 대규모 작업 없이는 AI의 결과가 번성하는 사회로 이어지지 않을 것이라고 우려한다.
“이 전례 없는 기술은 전례 없는 글로벌 대응을 요구합니다. 우리가 제대로 해낸다면, 인류에게 돌아올 보상은 엄청날 것이고 세상은 더 공평한 곳이 될 것입니다.” 그가 쓴다. “형평성 측면에서 볼 때, AI는 역사상 가장 위대한 평준화 장치(equalizer)가 되거나, 아니면 최악의 불공정성의 원천이 될 것입니다…. 나는 지도자들, 전문가들, 그리고 공동체들이 이러한 도전에 적절하게 맞서고 있다는 증거를 보지 못합니다. AI 시대로 진입하는 것을 완화할 계획이 없습니다.”

AI가 다른 이유: 게이츠가 우려하는 핵심 이유는 AI가 일자리와 경제에 미칠 영향입니다. 그는 이 기술이 비정상적으로 빠르게 확산되어 인간 노동의 거대한 부분을 대체할 것이라는 비전을 제시합니다. 그는 "많은 논평가들이 AI가 가질 영향의 정도를 과소평가하고 있다"고 씁니다. "우리는 빨리 채택되거나 인간처럼 생각하고 움직일 수 있는 기술에 대한 경험이 없다... AI는 법률, 고객 서비스, 의학, 소프트웨어, 제조 분야에서 업무를 맡게 될 것입니다. 이는 몇 세대에 걸쳐가 아니라 10년이라는 기간 동안 이 산업들을 빠르게 강타할 것입니다. 새로운 일자리가 생기겠지만, 적절한 정책 없이는 오늘날 존재하는 것보다 훨씬 적을 것입니다... 가장 위험에 처한 직업은 초급 및 중급 수준이며, 새로 창출되는 일자리들은 대부분 배우는 데 수년이 걸리는 기술을 요구할 것입니다."

경제는 변화해야 하며 – 일부를 '인간 전용(human reserved)'으로 지정하여 인간의 일자리를 보호하는 것을 포함해: 그는 "고용을 중심으로 구축된 경제가 사람이 적게 일하거나, 많은 사람이 더 적은 시간을 일하게 되면 어떻게 운영될 수 있을까요?"라고 질문합니다. "저는 AI와 로봇이 발전함에 따라, 우리는 특정 영역을 오직 인간만이 수행하도록 따로 지정할 것이라고 믿습니다. 저는 이것을 '인간 전용(Human Reserved)'이라고 부르기 시작했습니다... 경제적인 이유로 무언가를 인간 전용으로 지정할 수 있습니다. 예를 들어, 기계가 특정 역할을 맡는 것을 허용하는 것이 쉽게 직업을 바꿀 수 없는 많은 사람들을 대체하게 만들 경우 그럴 수 있습니다... 때로는 어떤 것을 인간 전용으로 지정하려는 결정이 다른 요인에 의해 주도될 것입니다. 예를 들어 건강 분야에서, 로봇이 당신에게 불치병이라는 끔찍한 소식을 알려준다고 상상해 보세요. 기술적으로는 그렇게 할 수 있는 이유가 없습니다. 하지만 그렇게 해서는 안 됩니다."

빌 게이츠가 정치인에게 전하고 싶은 말: “실업률이 급증하고, 지역 사회가 어려움을 겪으며, 공공 신뢰가 무너지기 전에 지금 행동할 기회가 있습니다. 정부가 문제를 여러 관료적 영역으로 나누어 처리하는 것이 아니라, 전체론적으로(holistically) 다룰 수 있도록 할 수 있습니다. AI가 모두에게 이익이 되도록 만들 수 있으며, 다른 정부들과 협력하여 이러한 국가적, 글로벌한 도전에 대응할 수 있습니다.”

이것이 중요한 이유 – AI 성공의 함의는 모두를 충격에 빠뜨릴 정도입니다: 만약 두 가지 가정을 한다면 빌 게이츠의 입장에 도달하는 것은 필연적으로 보입니다. 즉, a) AI 시스템은 앞으로 몇 년 동안 품질 개선을 지속할 것이고, b) AI 시스템은 경제 전반으로 비정상적으로 빠르게 확산될 것이라는 것입니다. 이 가정들의 핵심은 이것들이 터무니없는 가정이 아니며, 사실 상당히 보수적이라는 점입니다. 하지만 저는 여러분에게 Fable과 같은 LLM(대규모 언어 모델)을 사용하여 시간을 두 배로 돌려 AI의 발전과 확산을 2년 더 예측해 보고, 오늘날과 비슷할 것이라고 가정하는 것에 도전하고 싶습니다. 오히려 저는 기술 자체가 경제와 노동에 막대한 변화를 가져올 것임을 시사하며, 이는 게이츠가 반응하고 있는 방식과 같습니다.더 읽기: 격동의 AI 시대가 도래했습니다. 지금 우리가 내리는 선택은 중요합니다. (게이츠 노트).

---

중국 연구진이 제시하는 우주 채굴의 6단계:
_…AI는 미래 채굴을 위한 데이터 생성 및 지능에 역할을 할 것입니다…
중국과학원(Chinese Academy of Sciences), 뮌헨 공과대학교(Technical University of Munich), 오부다 대학교(Obuda University), 베이항 대학(Beihang University), 우한 대학(Wuhan University), 중국과학원 산하 항공우주정보연구소(Aerospace Information Research Institute), 뷔르츠부르크 대학교(University of Wurzburg), 선전 대학교(Shenzhen University), 중국광업기술대학(China University of Mining and Technology), WAYTOUS, OpenSpaceLab의 연구진들은 달, 소행성 및 기타 지구 외 지역 채굴을 위한 핵심 요구사항에 대한 논문을 발표했습니다.

우주에서 채굴하는 이유? 달과 소행성에는 헬륨-3, 물, 광물 자원 등 태양계 전반의 제조, 생명 유지, 수송에 필요한 풍부한 자원이 있습니다. 만약 우리가 다행성 문명이 되고자 한다면, 지구를 벗어난 곳에서 자원을 채굴하고 정제하며 사용하는 방법을 반드시 찾아야 할 것입니다. 이 논문은 우주 채광과 같은 것들에 대한 기술적 요구 사항과 필요한 기술들을 잘 제시하고 있습니다.

우주 채광의 6단계:

• 탐사 (Exploration):

  • 1. 원격 감지(remote sensing)를 통한 탐색: “궤도 센서 및 망원경 측량(telescopic surveys)을 사용하여 천체들을 지도화합니다.”
  • 2. 정밀한 현장(in situ) 로봇 감지를 통한 탐사: “근접 우주선(proximity spacecraft)과 이동 플랫폼이 표면의 구성 및 지형에 대한 고해상도 분석을 수행합니다.”

• 샘플링 (Sampling):

  • 3. 단일 로봇 소규모 샘플링: “자율 로봇 장치(autonomous robotic units)가 소규모 시추 및 추출 테스트를 수행합니다.”
  • 4. 다중 로봇 대규모 발굴: “대규모 산업 시스템 또는 조정된 로봇 군집(coordinated robotic swarms)이 원시 레골리스(raw regolith)를 채취하기 위해 배치됩니다.”

• 추출 (Extraction):

  • 5. 자율 자원 추출 및 정제: “통합 시스템이 수확된 물질을 처리하여 휘발성 물질, 금속, 물 얼음을 분리합니다.”
  • 6. 현장 건설 또는 지구 운송으로 최종 통합: “정제된 자원을 현지 자원 활용(In-Situ Resource Utilization, ISRU) 프레임워크에 통합합니다.”