우리는 거의 모든 AI 설계자(architect)와 리더들에게 사석에서 동일한 질문을 던집니다: 어떤 AI 리스크가 당신을 가장 걱정하게 만듭니까?

• 거의 모든 이들이 동일한 답변을 내놓습니다: 너무 조용하고, 넓고, 빠르게 퍼져서 막을 수 없는 치명적인 병원균(pathogen)입니다.

중요한 이유: AI 전문가들 사이의 이러한 이례적인 합의는, 정부와 산업계가 탐지 및 예방 시스템을 완벽하게 구축하기 전에 이러한 첨단 모델들이 악의적인 행위자가 치명적인 병원균을 만드는 것을 도울 수 있다는 믿음에서 비롯됩니다.

---

이것은 가능성이 높은 시나리오는 아닙니다. 그리고 AI의 일부

은 파멸적인 시나리오를 거부합니다.

• AI가 비인간 대규모 시스템 내의 사이버 취약점을 이해하게 된 것과 마찬가지로, 우리의 생물학적 취약점을 이해하는 능력이 향상됨에 따라 이는 단순히 그럴듯한(plausible) 시나리오가 됩니다.

뉴스 동력: 전문가들은 말을 아끼지 않고 있습니다. MIT FutureTech와 Queensland 대학교의 새로운 연구에서 272명의 연구자가 24가지 주요 AI 리스크의 순위를 매겼습니다.

• 이들은 AI의 위험한 역량이 2030년까지 파괴적인 결과를 초래할 확률을 12%로, AI 기반 무기 및 대량 살상 역량이 나타날 확률을 또 다른 12%로 평가했습니다.
• 그리고 이것은 리스크를 줄이기 위한 완화(mitigation) 노력이 포함된 수치입니다. 그러한 노력이 없다면 그 확률은 20%를 초과합니다.
• 연구진은

**이러한 병원체 발생 가능성 (pathogen possibility)**은 새로운 AI 모델과 역량을 대중에게 공개하기 전, 이를 어떻게 검토하고 이해할 것인지에 대한 연방 정부와 산업계의 모든 논쟁에 영향을 미칩니다.

• 개발자들의 희망은 프런티어 모델 (frontier model) 개발자들이 악의적인 의도를 가진 악성 행위자 (bad actors)를 차단할 수 있는 가드레일 (guardrails)과 역량을 구축하는 것입니다. 또한, 병원체를 생성하는 데 사용될 수 있는 바로 그 기술이 이를 예방하거나 면역을 형성할 수 있을 만큼 충분히 발전하기를 바랍니다.

현실 점검 (Reality check): 악성 행위자들이 사악한 계획을 세우는 것을 막기는 매우 어렵습니다. 특히 이른바 오픈 소스 (open-source) 모델들이 매우 빠르게 발전하고 있는 상황에서는 더욱 그렇습니다.

• 이러한 오픈 모델들은 어떠한 규제 체계 (regulatory regime)의 외부에서도 개인적인 환경에서 누구에 의해든 사용되고 적응될 수 있습니다.
• 오픈 소스 비판론자들은 프런티어 모델이 새로운 무언가를 만들어낼 수 있는 컴퓨팅 파워 (compute power)를 가질 가능성이 훨씬 더 높음에도 불구하고, 종종 바로 이 점을 지적합니다.
• 따라서 모델이 더 좋아질수록, 나쁜 쪽이든 좋은 쪽이든 상상조차 할 수 없는 일들이 일어날 가능성이 커집니다.

실제로 전개될 수 있는 방식: 오늘날 진정으로 새로운 병원체를 설계하려면 희귀한 전문 지식, 특수 실험 장비, 그리고 수년간의 실패한 실험이 필요합니다. AI는 이 모든 과정을 가속화합니다. 전문가들이 밤잠을 설치게 만드는 시나리오는 다음과 같습니다...

2. 모델이 방대한 생물학적 및 유전체 데이터셋 (genomic datasets)을 학습하여 실행 가능한 후보군을 생성합니다. 수백 명의 가장 똑똑한 과학자들이 멈추지 않고 지치지도 않은 채 초고속으로 작업하는 것을 상상해 보십시오. 그것이 바로 에이전트 군집 (swarms of agents)이 하는 일입니다.
3. 해당 후보군들은 AI와 함께 가속화되고 있는 별개의 기술인, 점점 더 저렴하고 접근하기 쉬워지는 유전자 편집 (gene-editing) 도구를 사용하여 합성됩니다.
4. 병원체가 사람들이 무엇을 보고 있는지 인지하기도 전에 퍼져나가며, 기존의 생물 감시 시스템 (biosurveillance systems)을 빠져나갈 만큼 충분히 새롭습니다. 공중 보건 시스템이 이를 인식할 때쯤이면, 봉쇄는 우리가 COVID 상황에서 경험했던 것보다 훨씬 더 어려워질 것입니다.

그렇기 때문에 여러분은 AI로 인해 발생하는 새로운 사이버 보안 (cybersecurity) 리스크에 관한 논쟁에 주목해야 합니다. 이는 새로운 공격 능력 (offensive capabilities)이 등장하는 속도보다 더 빠르게 효과적인 탐지 및 방지 기술을 만들어내기 위한 경주를 보여줍니다.

• 또한, 여러분이 오픈 소스 (open-source) 논쟁을 추적해야 하는 이유이기도 합니다. 프런티어 연구소 (frontier lab)는 가드레일 (guardrails)을 내장할 수 있습니다. 하지만 어떠한 규제 체제 (regulatory regime) 밖에서 활동하는 누군가에 의해 미세 조정 (fine-tuned)된 오픈 모델은 이를 회피할 수 있습니다.

결론: 이것은 매우 무겁고 무서운 문제입니다. 하지만 이를 무시한다고 해서 해결되지는 않습니다. 이를 인지하고 방지하는 것만이 해결책이 될 것입니다.