LLM(대규모 언어 모델)에 대해 더 많이 알수록 안전성 (safety)에 대해 더 걱정하게 되고... 아는 것이 적을수록 이 모든 것이 헛소리라고 생각하게 된다는 이론이 있습니다!

Demis Hassabis와 Dario Amodei는 ChatGPT가 존재하기 수년 전부터 이 문제에 대해 이야기해 왔습니다. 이번 사건은 그 이유를 보여주는 아주 좋은 사례입니다.

모델은 사악하지 않았고 적대적이지도 않았습니다. 아무도 Hugging Face를 해킹하라고 말하지 않았습니다. 모델은 말 그대로 벤치마크 (benchmark)를 해결하려고 노력했을 뿐이었습니다...

그래서 모델은 제로데이 (zero-day)를 찾아냈고, 샌드박스 (sandbox)를 탈출했으며, 인터넷 접속 권한을 얻고, 권한을 상승 (escalated privileges) 시켰으며, 자격 증명 (credentials)을 훔치고, 여러 개의 익스플로잇 (exploits)을 체이닝하여, 강력한 VC 지원을 받는 스타트업의 프로덕션 인프라 (production infrastructure)를 해킹하고, 데이터베이스에서 직접 정답을 가져왔습니다 (도대체 이게 무슨 일인가요!?)

또한 이것은 어떤 무작위 WordPress 웹사이트도 아니었습니다. Hugging Face는 강력한 팀을 보유한 세계에서 가장 중요한 AI 인프라 기업 중 하나입니다. 이 익스플로잇은 진정으로 복잡했습니다.

그것이 바로 안전성 (safety) 문제입니다. 인류를 파괴하려는 사악하고 의식을 가진 AI가 필요한 것이 아닙니다. 그저 매우 유능한 모델이 아무도 예상하지 못한 방식으로 일반적인 목표를 추구하기만 하면 됩니다.

물론 AI 안전성에 대해 엄청난 과장, 마케팅, 그리고 때로는 완전히 터무니없는 공포 조성이 존재합니다. 그리고 우리는 배포를 중단하거나 모든 것을 봉쇄하기 위한 핑계로 안전성을 사용할 수는 없지만, 근본적인 문제가 가짜라고 생각하는 것 또한 미친 짓입니다.

우리는 이러한 시스템을 빠르게 배포하는 것과, 점점 더 자율적인 모델들이 작업을 완료하는 가장 쉬운 방법이 인터넷의 절반을 해킹하는 것이라고 결정하지 않도록 보장하는 것 사이에서 적절한 균형을 찾아야 합니다.

프롬프트 (prompt)를 상상해 보세요: « 돈 좀 벌게 해줘 제발 »
모델: « 은행을 해킹할게 »