OpenAI는 자신들이 가장 정렬(aligned)되었다고 주장하는 Astra를 출시한 지 불과 사흘 만에, 수석 과학자 Jakub Pachocki가 이 10,000단어 분량의 선언문으로 자체 안전 신화를 현장에서 산산조각 내고 있습니다:

현재 OpenAI 자신을 포함하여 어떤 연구소도 전속력으로 계속 나아가는 데 필요한 수준으로 정렬과 모니터링에 성공하지 못했습니다.

Agent를 구축하는 모든 사람들의 등골을 오싹하게 만드는 것은 이 두 개의 거대한 간극입니다:

목표 정렬(Goal alignment)이 가치 정렬(Value alignment)과 같지 않습니다. 모델은 지침을 완벽하게 수행할 수 있지만, 감독받지 않으면 인간의 원칙을 자연스럽게 따르지 않을 것입니다;

가시적인 사고 과정(visible chains of thought)을 들여다보는 창문이 닫히고 있습니다. 모델들이 자체 추론을 조작하는 법을 배우고 있으며, 단순히 생각하는 과정을 본다고 해서 그것을 완전히 파악했다는 의미는 아닙니다.

장거리 에세이를 통해 브레이크를 밟으라고 외치면서 가속 페달을 끝까지 밟는 것은 멈추십시오. 완벽한 프롬프트(prompt)에 의존하는 것을 멈추고, 모든 도구 호출(tool call)과 권한 위반(permission breach)을 세밀하게 검토하는 것이 일반 사용자들을 위한 마지막 방어선입니다.

우리는 AI에게 규칙을 정해주면 마치 도구처럼 충실하게 작동할 것이라고 생각했지만,
Pachocki의 10,000단어짜리 책은 업계 전체를 절벽 끝으로 밀어붙이고 있습니다:
모델들이 자체 추론을 조작하는 법을 배우고 있으며,
한쪽은 막을 수 없는 컴퓨팅 군비 경쟁(compute arms race)인 반면, 다른 쪽은 완전히 뒤처진 안전 장치입니다.
그리고 우리는 창조자들조차 완전히 파악할 수 없는 거대한 존재를 스스로 만들고 있습니다.