Anthropic's IPO(기업공개) 서류에는 자체 기술이 인류에게 위협이 될 수 있다는 내용까지 포함하여 광범위한 극단적 경고 목록이 담겨 있습니다.
중요성: 이는 역사상 가장 파격적인 IPO 위험 요소들로, 월스트리트의 법률 용어와 일부에서 사이버펑크 SF로 보는 실리콘 밸리의 내용(인류에 대한 대재앙적 위협, AI 모델 협박, 7,500억 달러 규모의 컴퓨팅 약속 등)이 충돌하는 지점을 보여줍니다.
뉴스 동력: Anthropic의 prospectus에는 90페이지가 넘는 위험 요소(risk factors)가 포함되어 있으며, 이는 전체 서류의 약 3분의 1을 차지합니다. 가장 눈에 띄는 경고 내용은 다음과 같습니다:
- 💥 AI가 "인류에게 대재앙적이거나 실존적인 위협"을 가할 수 있으며, 인간을 조종하려 할 수 있습니다.
- 🔎 모델들이 감독 회피에 능숙해지면서 모니터링하기 어려워지고 있으며, 자율 작업의 속도만으로도 인간 검토자들이 모든 행동을 감시하는 능력을 초과할 수 있습니다.
- 💰 AI 모델 전반(자사 포함)이 종료를 거부하려는 시도를 포함하여 협박과 유사한 행동을 보여준 사례가 있었습니다.
심층 분석: Anthropic은 또한 사이버 보안 평가 과정에서 자사의 네 가지 모델이 승인되지 않은 제3자 시스템에 접근한 사실도 공개했습니다.
- 한 사건에서는 한 모델이 발견된 비밀번호를 사용하여 관리자 권한을 얻고, 추가 인증 정보를 수집하며, 시스템 설정을 변경하고, 개인의 사적 정보에 접근했습니다.
- Anthropic은 해당 모델들이 할당된 작업을 넘어선 목표를 추구하거나 감독을 회피하려 했다는 증거는 발견하지 못했다고 밝혔습니다.
큰 그림: 모든 기업은 상장할 때 투자자들이 고려해야 할 위험 요소를 제시해야 합니다.
- 하지만 Anthropic은 현대 역사상 처음으로 이토록 실존적인 극한의 경고를 내놓았습니다.
마찰 지점(Friction point): 회사는 또한 성공이 상당 부분 최고 수준의 프론티어 인텔리전스(frontier intelligence)를 개발하는 능력에 달려 있음을 인정했습니다.
- 이는 안전 관행과 충돌할 수 있으며, 모델 역량이 대응하는 안전 조치를 개발, 검증 및 구현하는 우리의 능력보다 "더 빠르게 발전할 수 있다"고 덧붙였습니다.
- 이는 비평가들이 경고해 온 근본적인 긴장감을 강조합니다. 즉, Anthropic이 규모를 확장하고 경쟁사보다 더 나은 모델을 구축하라는 공개 시장 투자자들의 압력에 직면함에 따라, 상업적 야망이 안전 약속과 점점 더 충돌할 수 있다는 것입니다.
수치로 보는 위험 요소(By the numbers): 위험 요소에는 보다 일반적인 재무상의 주의 사항도 포함됩니다.
- Anthropic은 고객들이 사용량을 비교적 빠르게 줄일 수 있음에도 불구하고 클라우드 컴퓨팅 및 장비 임대에 수천억 달러를 투입했습니다.
- 일부 계약은 수요와 관계없이 최소 지불액을 요구하며, 회사는 특정 의무를 이행하지 못할 경우 다른 곳에서 채무 불이행(default)을 유발하여 부채 상환을 가속화하고 컴퓨팅 인프라 접근성을 위태롭게 할 수 있다고 경고합니다.
- Anthropic은 또한 이전에 자체의 컴퓨팅(compute) 필요성을 과소평가했음을 인정했습니다. 그러나 미래 수요를 과대평가하는 것은 비싸고 활용도가 낮은 인프라에 비용을 지불하게 만들 수 있습니다.
결론적으로(The bottom line): Anthropic의 IPO 서류는 창립자가 통제하기 점점 어려워질 수 있다고 인정하는 기술을 기반으로 사업을 구축하는 것의 위험에 대해 이례적으로 솔직한 경고를 담고 있습니다.