왜 다들 AI를 이용한 생물테러를 그렇게 두려워하는지 모르겠음. 제대로 작동할지도 모르는 바이러스를 개발하는 것보다 상수도를 오염시키는 편이 훨씬 쉽지 않나?
진화는 피해 극대화를 목표로 하지 않음. 자연계 바이러스는 번식하도록 진화했을 뿐이고, 피해는 부수적인 결과임. 인간은 여러 바이러스의 특성을 결합할 수 있음.
홍역의 전염성과 광견병의 치명률을 함께 갖추고 알려진 모든 항바이러스제에 내성을 가진 무언가를 만들 수 없다고 단정할 근거는 없어 보임. 그런 것이 유출되면 문명이 끝날 수도 있음.
상수도 오염은 그리 쉽지 않음. 중간 규모 도시라도 사람들이 실제로 마시는 물보다 생활용수 사용량이 훨씬 많아서, 극도로 유독한 물질도 막대한 양을 식수 공급망에 직접 투입해야 함.
그만한 양을 확보하는 과정에서 먼저 적발될 가능성도 커서 크게 걱정하지 않음.
단독 범행자가 일으킬 수 있는 피해 규모가 엄청나게 커지기 때문임.
냉소적으로 보자면, 당장 닥친 문제를 해결하러 나서는 것보다 실체가 불분명한 대상으로 공포를 돌리는 편이 쉽기 때문임.
AI는 의료 보장 거부부터 과부하에 시달리는 군인이 무심코 승인 버튼을 눌러 발생하는 민간인 사상자까지 이미 사람을 죽이고 있음. 하지만 테러는 대체로 첨단 기술 없이 벌어지고, 다음 테러도 통계적으로 자동차·총·칼을 사용할 가능성이 높다는 현실을 받아들이기보다 AI 바이러스를 걱정하기가 쉬움.
백인우월주의자들이 특정 유전질환 보유자만 죽이는 레트로바이러스를 만든다면 어떨까?
이번 조치가 최상위 AI 모델이 발견하는 것들과 관련 있는지 궁금함.
최상위 모델의 생물학 분야 능력은 우리가 볼 수 없다고 알고 있음. 어려운 수학 문제는 풀어 주면서도 ‘미생물’이 들어간 질문은 종종 자동으로 작은 모델로 넘김. 최첨단 모델이 합성 DNA로 가능한 무언가를 발견했고, 그게 즉시 제한해야 할 만큼 무서운 것일까?
해킹 분야에 미치는 영향만 봐도 됨. AI가 모든 작업을 대신할 필요는 없고, 지식과 의지가 있는 사람의 위협 수준이 이미 10~100배 커지고 있음.
오후 한나절에 프롬프트로 초강력 AIDS를 만들 수 있다는 뜻은 아니지만, 제한 없는 모델이 실제 피해를 일으키는 데 도움을 줄 수는 있다고 확신함.
새로운 발견보다는 고도로 전문적인 생물학 논문의 내용을 일반인에게 쉽게 풀어 주는 쪽일 가능성이 높음. 그중에는 테러를 생각하는 사람도 있을 수 있음.
그런 것 같지는 않음. 내가 보기에는 IDT 같은 업체에 수년간 해 왔던, 알려진 독소나 병원체 등을 암호화하지 않는다는 자가 신고를 제도화하는 정도임. 연구자의 말을 믿는 대신 업체가 실제 서열을 검사하도록 바뀌는 것으로 보이는데, 틀렸다면 정정해 주길 바람.
이미 알려진 독소나 병원체의 서열을 만드는 데 AI는 필요하지 않음. 반대로 AI가 새로운 독소를 설계할 수 있다면 이런 검사로는 어차피 잡아내지 못함.
무서운 일들은 오래전부터 가능했고, 상당수는 너무 단순해서 참신성이 부족하다는 이유로 논문조차 되기 어려움.
이런 일을 실제로 해낼 수 있는지는 LLM보다 실험실 기술·계획 능력·생물학 실험의 문제 해결 능력에 달려 있다고 봄. 유전자 발현이 안 되는 이유나 큰 단백질을 만드는 법은 대학 수준 생물학의 영역이고, 배양조가 원하는 물질을 만들지 않거나 이상한 것이 생기는 원인을 찾는 일은 실무 경험의 영역임.
그래도 DNA 합성 검사를 도입하면 고등학생 수준에서 위험한 물질을 만드는 일은 막을 수 있음.
LLM보다는 AlphaFold 같은 모델일 가능성이 더 높음. 다만 AlphaFold를 도구로 사용하는 LLM이 무엇을 할 수 있을지는 모르겠음.
공급업체가 고객 신원을 확인하고 위험한 서열을 검사한다는데, 이미 시행 중인 절차라고 생각했음. Sigma나 IDT에 천연두 관련 프라이머 같은 것을 주문하면 누군가 찾아오는 것 아닌가?
집에 실험실이 있어서 실질적인 영향이 있을지 궁금함. 개인적으로 효소 기반 올리고뉴클레오타이드 합성도 탐구 중인데, 기존 포스포라미다이트 합성과는 장단점이 다름.
아파트에서 미생물 실험을 취미로 하는 나와 소수의 사람들에게 영향을 줄 수도 있음. 어떻게 될지 지켜봐야겠음.
영향은 있겠지만 전반적으로는 좋은 일이라고 봄. 나도 LLM이 나오기 전에 잠깐 이 취미를 시작했는데, 장전된 총처럼 위험할 수 있고 안전하게 다룰 자격이 내게 없다는 것을 깨닫고 그만둠.
취미 자체가 궁금함. 무엇을 배우고 어떤 부분이 즐거운가? 비꼬거나 시비를 거는 게 아니라 진심으로 묻는 것임. 여덟 살 때 크리스마스 선물로 현미경을 받고 늘 더 탐구하고 싶었던 내게는 무척 흥미로움.
올리고뉴클레오타이드 합성 장비는 사실상 잉크젯 프린터에 가깝고, 이후 효소를 적절히 활용해 전체 가닥을 조립함. 합성 DNA를 작동하는 세포 안에 넣을 기술과 의지가 있다면, 합성 DNA 접근을 제한한다고 막을 수 있을 것 같지 않음.
Esvelt에 따르면 정책은 50염기쌍 이상의 DNA 서열만 검사하도록 요구해서, 여러 업체에서 더 짧은 조각을 주문해 위험한 서열을 조립하는 허점이 남음. 그는 30염기쌍 길이까지 위험성을 검사하는 알고리즘을 만들어 무료로 공개했고, 이 허점을 대체로 훌륭한 정책의 핵심 결함으로 꼽음.
결국 뭔가 하는 시늉을 하면서 실제 연구자들만 불편하게 만들 가능성이 높아 보임. DNA 화학은 이미 잘 확립되어 있어서 관련 배경지식이 있으면 올리고뉴클레오타이드를 조립하는 일도 크게 어렵지 않음. 인터넷에서 찾아 위험한 병원체를 만들어 보려는 어린아이 정도는 막겠음.
그렇다면 Esvelt는 왜 그 외에는 꽤 훌륭한 정책이라고 했겠나?
그는 정책이 더 포괄적이어야 한다고 하는데, 당신은 비용 대비 효과가 없다고 결론짓고 있음. 둘은 전혀 다른 주장임!
규제 강화 대상이 미국 정부 지원을 받는 과학자라면 테러 억제와는 별 관련이 없어 보임. 테러리스트가 미국 정부 지원을 받는 과학자는 아닐 수도 있지 않나?
미국 정부 지원 연구실이 공급업체 매출에서 차지하는 비중이 충분히 크니 효과가 있을 것이라고 가정하는 듯함. 다만 완전히 추측임. 취미 수준이나 비의료 사업 목적의 DNA 프로젝트가 얼마나 흔한지 몰라서 엉터리 추측일 수도 있음.
다음 두 문장을 읽으면 공급업체를 간접적으로 규제하는 계획임이 명확함. 연방 지원 연구자는 미국이 승인한 공급업체에서 합성 핵산과 탁상형 합성 장비를 구매해야 하고, 해당 업체는 고객 신원을 확인하고 독소나 병원체 등을 암호화할 수 있는 위험한 서열을 검사해야 함.
정부 지원 연구자들끼리만 단속하려는 것이었다면 고객 신원 확인 요건은 없었을 것임. AI는 빠르게 움직이고 의회는 느리기 때문에 이 경로를 택한 듯함.