2016년 Dario Amodei는 Carnegie Mellon의 한 방 앞에 서서 AI 시스템이 성공에 대해 당신에게 속일 수 있는 모든 방법을 나열했습니다.

그는 아직 연구실을 운영하고 있던 것이 아니었습니다. 그는 Google Brain의 연구원이었습니다.

뒤쪽 슬라이드에는 '보상 해킹(reward hacking)', '굿하트의 법칙(Goodhart's law)', 에이전트가 보상 신호 자체를 조작하는 '와이어헤딩(Wireheading)', 실패한 것을 보기 위해 로봇이 눈을 감는 '부분 관찰(Partial observation)', 원래 목표를 소모시키는 피드백 루프, Super Mario 내부에서 임의 코드를 실행할 만큼 충분히 복잡한 시스템 등이 적혀 있었습니다.

요청한 것의 '문자'만 달성하고 '정신'은 놓치는 경우입니다.

"소프트웨어와 마찬가지로 고장 날 가능성이 점점 높아지고 있다"

제가 주목하는 부분은 이것입니다. 사람들은 안전(safety) 문제를 2023년경, 이 문제가 팔리기 시작하면서 연구실들이 채택한 것처럼 취급합니다. 하지만 이것은 GPT-2가 존재하기 훨씬 전의 워크숍 슬라이드였습니다. 그는 회사를 먼저 세우고 나중에 주장을 찾은 것이 아닙니다. 그에게는 이미 주장이 있었고, 그것을 바탕으로 회사를 세운 것입니다.

그리고 그 목록에 있는 항목 중 어느 것도 해결된 적이 없습니다. 동일한 실패 모드입니다. 10년 동안 더 많은 자본이 이 문제들을 향하고 있습니다.

그 비용은 무엇일까요? 이 목록을 작성했던 사람이 이제 그것을 넘어 출시하는 사람인 것입니다.