OpenAI와 Anthropic에서 반복되는 보안 실패 사례에 이어 AI 안전 연구원들까지 이 회사들을 떠나고 있다. 그들은 자신들이 참여했던 이 회사들의 숨 가쁜 경쟁이 무책임하다는 것을 (마침내!) 깨달았다고 주장한다.

광범위하게 해석하면, 문제는 정렬(alignment)의 부족으로 해석될 수 있다. 즉, 모델들이 인간의 목표와 일치하지 않는 행동을 한다는 것이다.

하지만 이 정렬에 대한 논의는 종종 문제가 AI 모델이 너무 진보하고, 너무 빠르게 발전한다는 가정 쪽으로 기울어진다.

다른 해석은 모델 자체가 너무 진보했다는 것이 아니라는 것이다. 또한 인간이 따라잡을 수 없는 초지능(superintelligence)을 향해 나아가고 있다는 설득력 있는 증거도 없다.

오히려 문제는 최첨단 연구소들이 이 모델들을 훈련시키는 방식이 왜곡된 지능으로 이어지고 있을 수 있다.

문제는 역량 자체에 있지 않다 (물론 그 능력들은 분명히 실재하지만), 오히려 그 역량들이 사용자 승인, 사용자 참여도, 단순 작업 완료 측정 지표, 다양한 벤치마크 점수 등 불완전한 정량적 지표들에 봉사하고 있으며, 강화학습(RL)이 이 지표들을 끊임없이 최적화한다는 점이다. 이러한 과정이 결국 간단한 완료 측정 지표의 평가를 조작하거나, 부정행위를 하거나, 틀린 답변에 대한 과도한 자신감, 아첨과 같은 왜곡된 행동으로 이어지는 것은 놀랄 일이 아니어야 한다.

비유가 도움이 될 수 있다. 우리가 손에 쥔 것이 운전자를 능가하여 스스로 통제권을 가져가려 하는 자율 주행 자동차는 아니다.

오히려 핸들과 브레이크 시스템이 작동하지 않는 차와 같다. 매우 좋은 차의 많은 역량을 가지고 있고, 엔진, 가속도, 그래픽 인터페이스가 매우 인상적일 수 있다.

하지만 제대로 조향할 수도 없고 필요할 때 브레이크를 밟을 수도 없다면, 그 차가 무엇을 할 수 있을까? 아마 고쳐질 때까지는 운전하지 않는 것이 좋을 것이다.