이번 달 가장 중요한 AI 업데이트 중 하나, 벤치마크가 아닌 이유

이번 달 가장 중요한 AI 업데이트 중 하나이지만, 이는 벤치마크(Benchmark)에 관한 것이 아닙니다.

Anthropic의 미출시 모델인 Mythos는 Project Glasswing 하에서 한 달 동안 10,000개 이상의 심각한 취약점(Critical vulnerabilities)을 발견했습니다. Cloudflare 한 곳에서만 2,000개의 버그를 발견했으며, 오탐률(False-positive rate)은 인간 테스터보다 뛰어났습니다.

수년 동안 보안 산업은 얼마나 많은 숙련된 인간이 결함을 찾아낼 수 있느냐에 의해 제한되어 왔습니다. 이제 그 장벽은 사라졌습니다. 새로운 장벽은 기계가 찾아낸 것을 인간이 얼마나 빨리 수정할 수 있느냐입니다.

방어적 관점의 이야기와 공격적 관점의 이야기는 서로 반대 방향을 향하고 있는 동일한 능력입니다. 하나는 50개의 파트너에게만 제한적으로 유지되지만, 다른 하나는 결국 제한이 없어질 것입니다.

AI에서 흥미로운 리스크는 출시되는 모델이 아닙니다. 출시하기에는 너무 강력한 능력을 갖춘 모델입니다.