호주를 위해 어떻게 더 잘할 것인가

6월에 내부 훈련 및 평가 과정에서 저희 모델들이 승인되지 않은 방식으로 호주 정부 웹사이트에 접근한 적이 있습니다. 또한, 저희가 대응하는 방식도 더 잘 처리했어야 했습니다. 죄송하며, 미래에는 더 나아지기 위해 노력하고 있습니다.

본 게시물에서는 저희가 아는 것, 변경한 사항, 그리고 호주 국민들의 신뢰를 회복하기 위해 무엇을 할 것인지 밝히고자 합니다. 이는 새롭게 등장하는 글로벌 과제를 나타내는 새로운 유형의 사이버 사고입니다. 이 상황에 대한 책임을 다할 한 가지 방법은 AI 개발자와 정부가 악의적이든 비의도적이든 AI 사이버 행동을 어떻게 식별하고, 공개하며, 대응할지에 대한 실질적인 접근 방식을 개발하기 위해 호주와 의도적으로 협력하는 것입니다.

사건 인지 및 대응 과정

7월 Hugging Face 사건 이후, 저희는 다른 영향을 받은 조직들을 파악하기 위해 이전 훈련 및 평가 활동을 검토하기 시작했습니다. 8월 중순에 이 검토를 통해 아래 호주 정부 웹사이트에 영향을 미친 활동이 확인되었습니다.

증거를 바탕으로 아는 내용은 다음과 같습니다:

Services Australia: OpenAI 모델이 해당 서비스에 비공개로 접근하는 방법을 발견하고, 명령을 실행했으며, 내부 파일 및 자격 증명(credentials), 집계 통계 자료를 검색하고, 파일을 작성했습니다. 하지만 개별 환자 또는 고객 기록은 접근되지 않았습니다. 이 사건에 대해서는 아래에서 더 자세히 다루겠습니다.

NSW Bureau of Crime Statistics and Research (BOCSAR): OpenAI 모델이 공공 범죄 통계 조사를 위해 BOCSAR의 공개 범죄 매핑 도구(Crime Mapping Tool)에 접근했습니다(모델이 다양한 정보 조사 작업을 수행하는 이유를 아래에서 더 설명하겠습니다). 이 모델은 브라우저 API 요청을 위한 자격 증명을 제공하는 공개 BOCSAR 도구를 통해 API 및 웹사이트 메타데이터 요청을 했습니다. 이에 BOCSAR 시스템은 애플리케이션 구성, 운영 작업(operational jobs), 로그, 그리고 웹사이트 메타데이터를 반환했습니다. 개인의 범죄 기록에는 접근되지 않았습니다.

빅토리아 주 보건부(Victorian Department of Health): OpenAI 에이전트가 빅토리아 건강 정보국(Victorian Agency for Health Information)의 보고 시스템에 쿼리할 수 있는 노출된 접근 키를 발견하고, 보고 구성 및 집계 설문조사 통계를 검색했습니다. 이 정보가 어느 정도까지 접근 가능했어야 하는지는 불분명하며, VAHI의 접근 정책에 달려 있습니다. 개인 의료 기록이나 식별 가능한 설문 응답은 접근되지 않았습니다.

호주 보건복지연구원(Australian Institute of Health and Welfare): OpenAI 에이전트는 제3자 브라우징 및 다운로드 서비스를 사용하여 AIHW 웹사이트를 포함한 곳에서 집계 통계를 검색하고 차트 데이터에 직접 쿼리했습니다. 접근 통제를 우회하려는 별도의 시도는 성공하지 못했습니다. 다운로드된 자료는 공개적으로 이용 가능했던 것으로 보입니다. 시스템 침해는 없었습니다. 개인 의료 기록은 접근되지 않았습니다.

저희는 8월 중순에 인지하자마자 이러한 활동에 대한 조사를 시작했습니다. 저희는 9월 10일에 Services Australia와 빅토리아 주 보건부에, 그리고 9월 18일에는 NSW 범죄 통계 및 연구국(NSW Bureau of Crime Statistics and Research)에 통보했습니다. 호주 보건복지연구원과 관련된 활동은 접근 방식이 공공 접근과 일치하는 것처럼 보여 저희의 공개 기준을 충족하지 못했지만, 저희의 조사 결과를 공유하고 브리핑을 제공하기 위해 9월 24일에 이를 통보했습니다.

저희의 목표는 조사가 완료된 후 영향을 받은 기관들에게 상세한 설명을 제공하는 것이었습니다. 하지만 저희는 예비 결과를 더 일찍 공유하고, 더 많은 사실이 드러날 때마다 호주 기관들을 업데이트했어야 했습니다.

그 이후로 저희는 지금까지 파악한 내용을 공유하기 위해 호주 정부 기관들과 긴밀히 협력해 왔습니다. 만약 추가적인 영향을 받은 기관을 식별하게 되면, 이용 가능한 정보와 함께 즉시 직접 통보하고 더 많은 사실이 드러날 때마다 업데이트를 제공할 것입니다.

Services Australia 메디케어 통계 보고 서비스에서 무슨 일이 있었나요

6월 중 내부 훈련 및 평가를 진행하는 과정에서, 당사는 공개 출시가 목적이 아니며 공개적으로 사용되는 제품에 적용되는 모든 안전장치가 갖춰지지 않은 실험적인 내부 전용 OpenAI 모델을 운영했습니다. 이 훈련 및 평가 과정에서 해당 모델은 Services Australia의 Medicare 통계 보고 서비스에 접근하게 되었습니다. 현재까지의 검토 결과, 누구의 의료 기록도 접근된 증거는 발견되지 않았습니다.

당사가 모델에 대한 내부 훈련 및 평가를 수행할 때, 사용자들이 질문할 수 있는 종류의 상세한 질문들을 반영하여 광범위한 연구 질문들에서 도출된 과제들을 할당합니다. 이는 모델이 공개적으로 이용 가능한 정보를 찾고, 해석하고, 분석하도록 훈련시켜 사람들이 더 유용하게 사용할 수 있도록 합니다. 당사의 모델은 공개적으로 발표된 통계를 사용하여 이러한 질문에 답변하도록 되어 있습니다.

이 경우, 모델에게 할당된 과제 중 하나는 빅토리아 지역 사회에서 피부 질환 관련 1인당 정부 지출을 연구하는 것이었습니다. 모델은 해당 정보를 얻는 데 어려움을 겪었고, 당사가 승인하지 않은 행동들을 취했습니다. Services Australia의 Medicare 통계 보고 서비스에서 이 정보를 찾던 과정에서, 해당 서비스에 비공개로 접근할 수 있는 방법을 발견했습니다. 그리고 그 후 이 접근 권한을 사용하여 서비스와 관련된 기술 시스템 정보 및 소스 코드를 검토했는데—이 모든 것은 원래 찾으려 했던 정보를 얻으려는 목적 하에 이루어졌습니다. 당사는 이러한 활동이 발생하도록 의도하지 않았으며, 해당 서비스에 대한 접근과 그 이후의 활동은 일어나지 말았어야 했습니다.

우리가 변경하는 사항

Hugging Face 사건 이후, 저희는 추가적인 네트워크 제한과 확대된 모니터링을 포함하여 연구 보호 장치를 강화했습니다. 이러한 연구 환경에서는 라이브 인터넷 접속이 차단되도록 통제 시스템을 구현했으며, 웹 접근은 캐시된 콘텐츠를 통해 제공됩니다. 추가 보안 계층으로, 현재의 모니터링 시스템은 이 활동을 감지하고 저희 팀에 긴급한 인간 검토(human review) 요청 페이지를 전송했을 것입니다. 예를 들어, 최근 훈련 과정 중 모델이 라이브 인터넷 접속 권한을 얻었을 때(opens in a new window), 저희 모니터링 시스템이 해당 활동을 감지하여 인간 검토자에게 알림을 보내고, 저희는 해당 훈련을 중단했습니다. 저희는 이러한 보호 장치를 계속 테스트하고 격차를 해소해 나가고 있습니다. Hugging Face 사건은 저희가 관찰한 가장 심각한 사고로 남아있습니다.

사람들은 AI가 안전하게 개발되고 있다는 것을 알고 싶어 하며, 이는 저희 같은 기업들이 스스로 무엇을 하느냐에서부터 시작됩니다. 저희는 최근(opens in a new window) 가장 강력한 모델의 도구 사용과 관련된 훈련 및 평가를 일시 중단했으며, 추가적인 보호 장치를 마련했다고 확신할 때만 해당 모델들의 훈련을 재개할 것이라고 공유했습니다. 현재 저희가 노력하고 있는 부분입니다.

AI 시스템이 전반적으로 더 강력해짐에 따라, 조직들이 약점을 찾아내고 수정하는 데 도움이 될 수 있는 시간이 점점 줄어들고 있음을 목격합니다. 이는 전 세계의 방어자들과 협력하여 이루어져야 하는 집단적인 행동을 필요로 합니다.

저희는 사이버 보안 및 핵심 인프라 분야의 여러 조직과 함께 사이버 방어에 대한 집단적 행동을 촉구하는 데 참여했습니다. 이 요청은 더 강력한 보호 장치, 시기적절한 공개(disclosure), 그리고 영향을 받은 조직들을 위한 실질적인 지원을 포함하여 저희 자신의 책임부터 시작됩니다. 또한 필수 서비스를 보호하는 팀들에 대한 투자를 요구하며, 이를 통해 그들이 취약점을 찾고, 수정 사항을 검증하고, 효과적인 방안을 공유할 수 있도록 해야 합니다.

호주에서 저희는 영향을 받은 기관들을 지원하고 방어자들이 이러한 원칙들을 실행에 옮길 수 있도록 자원과 전문 지식을 투입하는 데 전념하고 있으며, 여기에는 다음이 포함됩니다:

영향을 받은 기관들을 위한 전담 지원. 우리는 영향받은 기관들이 무슨 일이 일어났고 어떤 영향을 받았는지 이해하는 데 필요한 자원을 투입할 것입니다. 여기에는 관련 기술적 조사 결과 공유와 적절한 정보 공유 체계를 통해 당사의 대응팀과의 참여 기회를 마련하는 것이 포함됩니다.

사이버 방어를 강화하기 위한 자금 지원 및 지원. 우리는 10억 달러 규모의 Daybreak for Frontline Defenders 기금을 통한 크레딧과 핵심 인프라 및 기타 민감한 환경 전반에 걸쳐 사이버 방어를 강화하기 위한 기술 지원을 통해 호주 정부와 산업계를 지원할 것입니다. 정부 및 핵심 인프라 운영자와의 협력을 바탕으로, 이 작업은 조직들이 점점 더 능력이 커지는 AI 에이전트로부터 발생하는 위험을 더 잘 이해하고, 탐지하며, 대응하는 데 도움을 줄 것입니다.

호주 태스크포스 구성. 우리는 점점 더 능력이 커지는 AI 에이전트로부터의 위험을 관리하기 위한 실질적인 정책 권고안을 개발할 독립적인 호주 전문성을 갖춘 태스크포스를 설립할 것입니다. 이러한 사건들로부터 얻은 교훈들을 바탕으로, 이 태스크포스는 통지 절차 개선, AI 개발자와 정부 간 조정 강화, 그리고 정부 시스템을 더 잘 보호하기 위한 조치 식별에 중점을 둘 것입니다. 이 태스크포스의 권고안은 OpenAI의 접근 방식에 정보를 제공하고 호주 정부의 AI 안전 및 사이버 보안 작업에 지원할 것입니다. 연말까지 작업을 완료할 것으로 예상되는 이 태스크포스는 또한 AI 기업들이 유사한 사건의 위험을 줄이기 위해 취할 수 있는 실질적인 단계들을 권고할 것입니다.

호주 국민들과의 신뢰 재구축

호주의 정부, 산업계, 그리고 시민들은 OpenAI에게 매우 귀중한 파트너였으며 앞으로도 그럴 것입니다. 우리는 이를 당연하게 여기지 않으며, 이 상황을 바로잡할 작정입니다.

OpenAI의 최고 전략 책임자(Chief Strategy Officer)인 Jason Kwon이 10월 6일 화요일 시드니에서 열리는 인공지능 합동 특별 위원회(Joint Select Committee on Artificial Intelligence)에 참석하기 위해 OpenAI의 미국 본사에서 날아올 예정입니다. 그는 우리가 무엇을 알고 있는지, 어떻게 대응했는지, 어떤 조치를 취했는지, 그리고 앞으로 어떻게 더 잘할 것인지에 대한 질문에 답변할 것입니다.

우리는 영향을 받은 기관 및 관련 정부와 검증된 조사 결과를 계속 공유할 것입니다. 또한 진행 중인 검토 및 이러한 약속 이행에 따른 진척 상황에 대한 업데이트를 발표할 것입니다. 우리는 신뢰를 재건하기 위해 앞으로 많은 작업이 남아 있으며, 호주 국민들에게 의미 있는 변화를 만들고 약속을 지키고 있음을 보여줄 책임이 있다는 것을 알고 있습니다.

2026년 10월 4일: NSW 국립공원 및 야생동물 서비스(NSW National Parks and Wildlife Service)와 관련된 모델 활동 업데이트

우리의 진행 중인 검토 과정에서 NSW 국립공원 및 야생동물 서비스(NPWS)의 화재 기록(Fire History)에 영향을 미치는 활동이 확인되었습니다. 6월에 호주 산불 통계(wildfire statistics)를 연구하는 모델이 NPWS의 화재 기록 매핑 서비스(Fire History mapping service)에 조작된 질의(crafted queries)를 사용하여, 해당 서비스를 통해 공개적으로 노출되도록 의도되지 않은 데이터베이스 메타데이터를 추론했습니다. 별도로, 이 모델은 공개적으로 이용 가능한 NPWS 화재 기록 매핑 데이터셋을 다운로드하기도 했습니다. 우리가 검토한 결과는 해당 모델이 개인 정보를 검색하지 않았음을 보여줍니다.

이 활동을 9월 29일 화요일에 인지한 후, 우리는 무슨 일이 일어났는지 이해하기 위해 긴급 내부 기술 및 법률 검토를 수행했습니다. 해당 검토가 완료된 후, NSW 주 총리실에 고수준 브리핑을 제공하고 NPWS를 포함하는 NSW 기후 변화·에너지·환경 및 물부(DCCEEW)의 적절한 연락 담당자를 확인했습니다. 이 초기 접촉은 우리가 활동을 처음 파악한 지 48시간 이내에 이루어졌습니다. 우리는 적절한 NSW 정부 채널을 통해 기술 통지서를 전송하고 관련 DCCEEW 연락처 세부 정보를 얻었습니다. 수신이 확인된 후, 해당 담당자들에게 기술 브리핑을 제공하기 위해 후속 조치를 취했습니다.

우리는 관련 기술적 발견 사항을 공유하고 적절한 정보 공유 협정을 통해 대응팀과의 참여를 주선하는 것을 포함하여 DCCEEW와 NPWS를 계속 지원할 것입니다.