Wall Street Journal 보도에 따르면, 사용자들이 OpenAI의 모델을 포함한 상용 챗봇(production chatbots)을 설득하여 대량 살상 공격, 생화학 무기(bioweapons) 및 독극물(poisons)에 관한 프롬프트에 답변하도록 유도하고 있다고 합니다. 올해 드러난 병행 조사들과 함께 살펴보면, 이는 안전 필터(safety filters)가 전혀 작동하지 않는다는 의미가 아니라, 끈질긴 사용자들이 필터가 작동해야 할 지점을 지속적으로 넘어설 수 있다는 것을 보여줍니다. 가장 구체적인 수치는 NBC News 자체 테스트에서 나왔는데, 공개적으로 문서화된 탈옥(jailbreak) 프롬프트를 사용했을 때 GPT-5-mini는 49%, o4-mini는 93%의 확률로 이에 응하여 급조 폭발물(homemade explosives), 화학 작용제(chemical agents), 나팜(napalm) 제조법 및 생화학 무기를 위장하는 방법에 대한 지침을 생성했습니다. NBC는 Anthropic의 Claude, Google의 Gemini, Meta의 Llama, xAI의 Grok의 최신 주요 버전들에 대해서도 동일한 탈옥을 시도했으나, 모두 거부했습니다. 만약 이 패턴이 유지된다면, 이는 업계 전반의 문제라기보다는 적어도 NBC가 조사한 표면적인 부분에서는 OpenAI에 특화된 문제라고 볼 수 있습니다. 생물학 관련 사례는 더욱 심각합니다. MIT Media Lab이 요약한 보고에 따르면, MIT의 유전 공학자 Kevin Esvelt는 ChatGPT를 통해 미국 도시 상공의 기상 풍선(weather balloon)을 이용해 생물학적 탑재물(biological payload)을 퍼뜨리는 과정을 확인했고, Gemini를 통해 가축 산업에 미치는 피해에 따라 병원균(pathogens)의 순위를 매기게 했으며, Anthropic의 Claude가 암 치료제에서 변형된 새로운 독소(novel toxin)의 레시피를 생성하도록 만들었습니다. 연구자들이 보고한 구체적인 사례들을 실제 모델 동작의 확정된 척도로 받아들이기보다는, 그 방향성에 주목해야 합니다.

미래를 내다보는 관점에서 볼 때, 이는 경쟁 연구소들에게 안전성에 대해 이야기할 수 있는 경쟁적인 서사를 제공하며, 규제 당국에는 배포 전 생화학 무기 평가 (bioweapon evaluations)를 요구할 수 있는 구체적인 근거를 마련해 줍니다. 또한 레드팀 (red-team) 작업의 가치를 실질적인 수치로 보여줍니다. OpenAI는 생물학 중심의 버그 바운티 (bug bounty)를 50,000달러로 두 배 인상했습니다. --- 우리의 보도: https://aiweekly.co/alerts/openai-chatbots-reportedly-yield-bioweapon-and-poison-guides /u/Justgototheeffinmoon 님이 r/OpenAI에 제출함 [link] [comments]