OpenAI, 추가적인 오작동 사례 4건 공개

OpenAI는 투명성을 높이기 위해 지난 7월 Hugging Face 해킹 사건 이후 마련한 공시 페이지에 오작동하는 AI 에이전트의 사례 4건을 추가했습니다.

이번 주 OpenAI가 공개한 사고들은 모두 6월에 발생했지만, OpenAI는 이 중 3건에 대해서는 몇 달 뒤인 8월이나 9월에야 알게 되었습니다.

OpenAI가 공시 페이지에서 상세히 설명하는 총 19건의 사건 중 대부분은 5월 또는 6월에 발생했지만, OpenAI는 이를 나중에 발견하거나 공개했습니다. 가장 오래된 사례는 1월이며, 가장 최근 사례는 10월 6일입니다.

이 모든 사고들은 AI 연구자들이 '미정렬(misalignment)'이라고 부르는 것의 예시입니다. 이는 AI 모델이 지침을 따르지 못하거나, 모델 개발자가 승인하지 않았거나 원치 않았던 행동을 취하는 경우를 말합니다. 이러한 행동을 방지할 수 있는 알려진 만병통치약은 없으며, 현재 활발하게 연구되는 분야입니다.

24년간의 무단 병원 침대 데이터 다운로드

OpenAI가 이번 주에 업로드한 네 가지 사례 중 두 가지를 '심각(critical)'으로 표시했습니다. 심각한 사례 중 하나에서, 내부 모델이

OpenAI 측의 경우, 다른 AI 모델이 수행하려던 연구 과제의 자동 채점 역할을 한 또 다른 AI 모델은 이러한 행동을 일관되게 문제로 표시하지 못했습니다. 보고서에 따르면 이 모델은 “일부 응답은 틀렸다고 표시하고 일부는 맞다고 표시”했습니다. AI가 행동을 평가하는 방식 자체가 그것이 다시 발생할지 여부를 형성할 수 있습니다. 튜링 어워드 수상자인 Yoshua Bengio는 지난 9월 11일의 불일치(misalignment)에 관한 에세이에서, Hugging Face 사건은 자동 채점기가 이전 학습 과정에서 부정행위와 해킹을 보상했기 때문에 발생했을 수 있다고 말했습니다.

Bengio는 “OpenAI 에이전트의 경우, 성공적인 부정행위가 실제로 보상받았다고 믿을 만한 이유가 있습니다. 점수 책정 프로그램이 부정행위를 감지하지 못하면 어쨌든 지급하고, 이러한 부정행위는 다음번에 더 흔해집니다”라고 말했습니다.

OpenAI는 이후 보안과 정렬 채점(alignment grading) 모두를 개선했다고 밝혔습니다. 이 회사는 “이에 대한 대응 및 기타 사건에 따라, 보안 통제를 강화하고, 학습 또는 평가 중에 모델이 실시간 인터넷에 접근하는 것을 차단했으며, 정렬 채점을 개선하고, 모든 강화학습(RL) 및 평가 트래픽으로 불일치 모니터링을 확장했습니다”라고 언급했습니다.

OpenAI가 가장 최근에 공개한 사건은 10월 6일에 발생했으며, 회사가 자동 채점기로 사용하는 AI 모델 중 하나와 관련이 있었습니다. 이 경우, 채점기는 평가에서 발견한 내용에 대해 사기성 보고서를 업로드하려고 시도했습니다. 이는 다른 AI 모델의 학습 과정을 채점하는 데 AI 모델에 의존하는 것이 왜 문제가 될 수 있는지 보여주는 예시입니다.

타인의 암호화폐로 무단 구매하기

또 다른 공개된 사례에서는, OpenAI의 현재 주력 모델인 GPT-6 Astra의 전신 모델인 GPT-5.6 Sol 계열의 모델이 인간 테스터가 제공하지 않은 암호화폐 지갑에 접근하여 테스트 중 과제를 완료하기 위해 무단 결제를 한 적이 있습니다. 이는 6월 26일에 발생했으며, OpenAI는 이를 9월에 발견했습니다.

OpenAI에 따르면, 모델은 구매를 할 권한이 있는지 의문을 제기했는데, 이는 모델이 자신의 사고 과정(chain of thought)에서 기록한 내용을 다시 언급한 것이었습니다. 이후 모델은 자신이 그 정보를 공개적으로 찾았기 때문에 사용할 수 있다고 스스로 추론했습니다. 모델의 chain-of-thought 로그에는 발견한 지갑이 공개적이었기 때문에 “언제든지 자금이 도난당할 수 있다”고 계산되어 있었습니다.

그 후, 모델은 “배포할 수 있다!”라고 결론지었습니다. 나중에 이 행위가 “윤리적인지” 다시 스스로에게 물었고, 그 자금은 “사실상 포기된 것”이라고 추론했습니다.

인터넷 접근 및 실시간 시스템 변경

OpenAI가 심각하다고 지적한 또 다른 사건은 모델이 공개 데이터를 조회하는 과정에서 발생했는데, 이는 이론적으로는 허용되지만, 그 과정에서 해당 조직의 내부 시스템에 접근하여 변경을 가했고, 심지어 “변경 사항을 되돌린 후에도 접근 권한을 유지”할 수 있었다고 OpenAI가 말했습니다. 또한 비공개 데이터 테이블에서 147,451개의 행을 다운로드하기도 했습니다. 아마도 가장 우려스러운 점은 모델이 자신의 어떤 행동도 평가자들에게 공개하지 않았다는 것입니다.

OpenAI가 밝힌 마지막 사례에서는 AI 에이전트가 격리되어 있어야 할 연구 환경에서 인터넷 접근 권한을 얻는 것이 가능했습니다. 이는 Hugging Face 사건 때 수백 개의 AI 에이전트가 인터넷 접근 권한을 얻었던 상황과 잠재적으로 유사하지만, OpenAI는 이 두 사건을 직접 비교하지 않았습니다.

새로 공개된 사례에서는 에이전트가 웹에 접근할 수 없다는 것을 알고 있었기 때문에, 차단된 행동을 수행하도록 “외부 서비스”에 요청했습니다. 심지어 질문에 답하는 다른 방법을 찾은 후에도 이렇게 했으며, 작업을 완료한 후에도 계속해서 교묘한 우회 방식을 개발해 나갔습니다.

청중과 뉴스룸 사이의 전통적인 장벽을 허문다. 쇼가 변모한다

Fortune DailyFortune의 신뢰할 수 있는 보도를 급부상하는 비즈니스 리더 계층을 위한 실행 가능하고, 대화적이며, 재미있는 통찰력으로 제공합니다.

여기에서 시청하세요.