Anthropic의 Fable5 중단 사태: 능력(Capability)이 아닌 안전장치(Safeguard) 문제

#Antropic의 #Fable5가 중단되었습니다:

모두들 Anthropic의 중단을 능력에 대한 이야기로 다루고 있습니다. 가장 강력한 모델을, '너무 강력해서 출시할 수 없다'며 오프라인으로 전환했습니다.

잘못된 관점입니다.

이 모든 논쟁은 탈옥(jailbreak)에 관한 것입니다. 즉 안전장치(safeguard)를 우회하는 것에 대한 이야기입니다. Anthropic 자체의 방어 논리는, 해당 기법이 몇 가지 사소한 알려진 버그만 노출시켰으며, 다른 공개 모델들도 우회할 필요 없이 동일하게 작동한다는 것입니다.

따라서 핵심 주장은 능력이 아니었습니다. 안전장치(safeguard)가 핵심이었습니다. 그리고 안전장치는 모델을 감싸는 감독 계층(supervision layer)이며, 바로 이 곳에서 신뢰성(reliability)이 생사여탈권을 가집니다.

'73% 익스플로잇율'은 능력에 대한 수치입니다. 그 능력을 필요할 때 얼마나 믿을 수 있게 막을 수 있는지가 감독의 수치입니다. 이 둘은 같지 않으며, 이것들을 혼동하는 것이 바로 전 세계 수억 명이 사용하는 모델이 탈옥을 통해 작동하게 만드는 방식입니다.

저는 그 제어 계층(control layer)이 얼마나 신뢰할 수 있을지에 대한 형식적인 한계가 있다고 생각합니다. 이는 근본적으로 #AI 신뢰성 문제이자 보안 문제입니다.