백악관과 Anthropic, 탈옥(Jailbreak) 심각성을 정량화할 공식 기술 평가 프레임워크 구축 협력

새 소식: 백악관(White House)과 Anthropic은 문제가 된 탈옥 (jailbreak)의 심각성을 정량화하고, 향후 유사한 사건을 평가하기 위한 표준화된 방법론을 구축할 수 있는 공식 기술 평가 프레임워크 (formal technical assessment framework)를 만들기 위해 협력하고 있습니다.

이는 논의가 진전되고 있다는 가장 명확한 신호이며, 어떤 AI 모델도 해킹으로부터 완전히 자유로울 수 없다는 이해를 반영합니다.

목표는 안전장치가 우회된 정도, 노출된 기능, 그리고 침해의 실질적인 결과 등을 포함하여 향후의 탈옥 (jailbreaks)을 평가하는 데 사용할 수 있는 공통 벤치마크 (benchmarks) 세트를 개발하는 것입니다.

@cheyennehaslett와 함께