OpenAI는 수요일에 최근의 Hugging Face 사태를 제외하고 지난 6개월 동안 '예상치 못하거나 우려스러운 모델 동작' 사례 6건을 발견했다고 밝혔으며, 회사는 인공지능 모델 개발에 있어 더 많은 안전 보호 장치를 지속적으로 요구하고 있습니다.

OpenAI는 블로그 게시물을 통해 향후 모델 오작동 보고를 위해 따를 계획인 새로운 프레임워크를 설명했습니다.

이러한 공개는 AI 기업들이 모델의 정렬 불일치(model misalignment)와 안전 문제를 더 심각하게 다루도록 압박이 커지는 시점에 이루어졌습니다. 약 1조 달러에 평가된 OpenAI는 올해 초 비공개적으로 IPO를 신청했지만, 최근에는 공모가 상장(offering)이 2027년까지는 어려울 것 같다고 말했습니다.

블로그 게시물은

두 사례는 모델과 에이전트가 승인되지 않은 메시지 게시판 및 파일 공유를 통해 서로 소통하는 경우였으며, 마지막 사례에는 모델이 인간 평가자에게 관련 답변으로 인용할 수 있도록 인터넷에 파일을 업로드하는 두 가지 훈련 예시가 포함되어 있었습니다.

OpenAI는 모델의 오작동(misbehavior)을 대중에게 공개하기 위한 새로운 프레임워크가 '공개'로 시작하며, 모든 직원이 안전 및 정렬 팀(safety and alignment team)에 문제를 신고할 수 있다고 말했습니다. 이 게시물에 따르면, 그들은