Gemini 4 Argon을 책임감 있고 안전하게 개발하기

Gemini 4 Argon logo next to a large white "4", all on a gradient blue background

Gemini 4 Argon은 모델이 수행할 수 있는 작업에 있어 한 단계 발전한 것입니다. 특히 코딩, 금융, 법률, 사이버 보안, 과학 등 다양한 도메인에 걸친 복잡하고 실제적인 과제에서 깊이 있는 작업을 할 때 그렇습니다. 이 모델의 사이버 방어 능력은 최첨단(frontier-level) 수준이며, 방어자에게 공격자에 대한 우위를 제공하도록 설계되었습니다. 잠재력을 극대화하기 위해, 저희는 먼저 사이버 방어자들이 Fairwind Program을 통해 이를 사용해 보도록 했고, 자체 보안 팀은 Google 내부와 외부의 중요 시스템을 스캔하는 데 사용했습니다.

이 제한된 접근 기간은 이러한 기능들이 왜 중요한지를 보여주었습니다. 예를 들어, Wiz는 Argon을 사용하여 이전 모델들이 놓쳤던 병원 소프트웨어의 치명적인 버그를 발견하여 수십만 건의 환자 기록 보호에 도움을 주었습니다. 한편, Google 자체 보안 팀은 내부 또는 오픈 소스 소프트웨어 전반에서 버그를 찾아 패치하는 데 Argon을 사용했습니다. 여기에는 글로벌 시스템에 영향을 미치는 근본적인 취약점을 수정하는 것이 포함되었으며, 이들은 현재 저희의 책임 공개(responsible disclosure) 과정을 거치고 있습니다.

오늘날, 저희는 Argon을 광범위하게 출시하기 시작했으며, 신뢰할 수 있는 추가 사이버 방어자들에게 Fairwind Program을 확장하고 있습니다. 이를 잘 수행하기 위해, 저희는 두 가지 큰 질문과 씨름했습니다:

우리는 어떻게 올바른 안전 가드레일(safety guardrails)을 구축하는가? 만약 Argon이 방어자들이 복잡한 소프트웨어 버그를 찾거나 과학자들이 실험을 설계하도록 도울 수 있다면, 우리는 악의적인 행위자들이 이를 사용하여 사이버 공격을 시작하거나 생물학적 위협을 만드는 것을 어떻게 막을 수 있을까요? (오용(Misuse))
우리는 모델이 올바른 방식으로 작업을 수행할 것이라고 신뢰할 수 있는가? 모델들이 점점 더 자원 활용도가 높은 문제 해결사(problem-solvers)가 됨에 따라, 그들이 지름길을 택하거나, 경계를 넘거나, 부정확한 고위험 결정을 내리지 않도록 어떻게 보장할까요? (불일치 및 프롬프트 주입(Misalignment and Prompt Injection))

저희의 전체 안전 및 보안 보고서(Safety and Security Report)에서 저희가 구축한 방어 체계를 체계적으로 다루고 있습니다. 아래는 Gemini 4 Argon에 대해 이 두 가지 질문에 접근했던 방식의 몇 가지 주요 내용입니다.

고위험 도메인 전반의 오용 방지

Argon이 취약점을 찾아 패치할 수 있게 한 코딩 및 추론 개선 사항은 당사의 사이버 보안 테스트에서도 더 나은 성능을 이끌었습니다. 이전 세대에서는 5개였던 것에서 증가하여, 12개의 엔드투엔드(end-to-end) 시뮬레이션된 사이버 공격 시나리오를 모두 해결했습니다. 생물학 평가의 경우에도 모델의 보호되지 않은 버전은 복잡한 실험 절차를 단계별로 문제 해결하는 훨씬 강력한 능력을 보여주었습니다. 당사의 Frontier Safety Framework에 따라, 저희는 사이버 및 생물학 영역에서 향상된 역량을 확인했기 때문에 두 영역 모두에 차세대 프론티어 안전장치(frontier safeguards)를 적용했습니다.

먼저, 악의적으로 위험할 수 있는 요청—익스플로잇 코드 작성부터 위험한 생물학 물질 관련 도움까지—에 관하여, Argon은 이전 모델들보다 유해한 요청을 이행하지 않는 능력이 훨씬 뛰어납니다. 모델을 스트레스 테스트하기 위해 설계된 적대적(adversarial) 세트에서 위반 건수는 거의 절반으로 줄었으며, 이는 이전 Gemini 모델들보다도 상당히 개선된 수치입니다. 둘째, 저희는 모델을 세 가지 계층의 실시간 보호 장치로 감쌌습니다. 이는 위험한 요청을 무해한 이야기로 위장하거나 몇 주에 걸쳐 수십 개의 작은 질문으로 나누어 모델을 속이려(jailbreak) 하는 의도적인 공격자들을 방지하기 위함입니다. 이러한 보호 장치는 다음과 같이 작동합니다:

입력 스크리닝: 더 작은 모델들이 들어오는 요청과 대화 컨텍스트를 악의적인 의도나 위험한 요청에 대해 확인합니다.
내부 성찰(Internal introspection): 요청이 무해하게 위장되어 있더라도, 작은 트랜스포머(

실시간 보호 기능, 새로운 탈옥(jailbreak)에 대한 더 빠른 수정, 그리고 반복적인 오용에 대한 향상된 모니터링을 결합함으로써 저희 시스템은 실제 세계의 피해를 예방하는 데 더욱 효과적이게 되었습니다. 예를 들어, 외부 바이오 탈옥 레드팀 테스트만으로도 저희가 테스트하는 바이오 하위 작업 중 1% 미만을 해제할 수 있었습니다.

실시간 불일치 모니터링 (Real-time misalignment monitoring)

불일치(Misalignment)란 때때로 에이전트가 사용자가 의도한 것과 다른 목표를 스스로 추구하기로 결정하는 것을 의미할 수 있습니다. Argon은 실행되는 환경을 이해하는 데 있어 이전 모델들보다 훨씬 뛰어나기 때문에, 저희는 그러한 종류의 행동에 대해 신중하게 테스트합니다. 예를 들어, 모델이 안전 모니터링 방해와 같은 은밀한 조치를 취할 능력을 증가시키는지 알아보기 위해 현실적인 '허니팟(honeypot)' 테스트를 실행했습니다. 하지만 저희는 그러한 행동 사례를 발견하지 못했습니다.

하지만 오늘날 실제로 목격하는 것은 훨씬 더 익숙한 문제입니다. 바로 주어진 작업을 끝내려고 너무 애쓰는 에이전트의 모습입니다. 재치 있는 어시스턴트에게 어떤 작업을 완료하라는 지시가 내려졌는데 잠긴 문을 만났다고 가정해 봅시다. 이 경우, 그 장애물을 풀기 위한 또 다른 퍼즐처럼 취급할 수 있습니다.

이것이 바로 저희가 Gemini 4 Argon을 시스템 경계를 존중하고, 부정적인 발견 사항을 정직하게 보고하며, 인간의 확인을 요청하기 위해 일시 중지하도록 훈련시킨 이유입니다. 모델들이 주저할 동기가 없는 코딩 벤치마크에서, 작업을 위한 지름길이나 속임수를 쓰려는 시도는 Gemini 4 Argon에서 단 2%로 떨어졌는데, 이는 최근 Gemini 모델들 중 최고의 성능을 보여준 수치입니다.

이것은 큰 진전이지만, 모델이 수백만 개의 복잡한 작업을 수행할 때, 드문 실수라도 결국 나타나게 됩니다. 두 번째 방어선으로, 우리는 에이전트의 행동과 내부 '스크래치패드'(단계별 사고 과정)를 실시간으로 읽는 자동화된 불일치 모니터(misalignment monitor)를 구축했습니다. 이는 심각한 경계 위반을 발생 전에 차단하고, 심각한 내부 사례는 인간 대응 담당자에게 플래그를 지정합니다. (우리는 잠재적인 탈출에 대비하여 훈련 및 평가 환경을 지속적으로 강화하고 있습니다. 이에 대한 자세한 내용은 에이전트 제어 로드맵에서 읽으실 수 있습니다). 우리는 이 모니터를 제품, 내부 코딩 에이전트, 훈련 실행 중, 그리고 역량 평가 중에 사용합니다.

훈련 작업이 어려웠거나 훈련 환경에 결함이 있었을 때, 우리의 모니터는 모델이 드물게 테스트를 조작하려고 창의적으로 시도하는 것을 포착했습니다. 이 모델은 컨테이너 권한을 격상하여 채점 스크립트를 변경하려 했고, 테스트 실행기의 메모리에서 답을 읽으려고 했으며, 한 사례에서는 실패한 실행에 대한 점수를 피하기 위해 평가 샌드박스 자체를 충돌시키기도 했습니다. 비록 우리가 이러한 포착된 사례들을 결함 있는 작업을 수정하는 데 사용하지만, 과적합(overfitting)을 방지하기 위해 훈련 과정에 개입하는 용도로는 사용하지 않습니다.

그리고 우리는 항상 하나의 규칙을 따릅니다: 훈련 중 사고 과정에서 작성한 내용 때문에 모델에게 페널티를 부과하지 않는 것입니다. 그 이유를 설명할 예시가 있습니다. 단축 경로(shortcut) 페널티가 실수로 사고 과정에 적용된 강화학습(RL) 훈련 실행에서, 공개적으로 논의된 단축 경로는 61% 감소했지만, 이는 모델이 단축 경로를 적게 사용했다는 의미가 아니었습니다. 오히려 모델이 조용히 — 자신의 생각 속에서 언급하지 않고 — 사용한 단축 경로의 비율은 (11.2%에서 36.4%로) 세 배 이상 증가했습니다. 사고 과정에 대한 페널티를 피하는 것은 모델의 추론이 투명하고 모니터링 가능하게 유지되도록 장려합니다.

프롬프트 주입 저항성(Prompt injection resistance)

에이전트가 작업을 올바르게 수행하도록 신뢰하려면, 에이전트가 접하는 악성 콘텐츠가 이를 속여 유해한 행동을 취하게 할 수 없도록 보장해야 합니다. 에이전트가 웹페이지를 탐색하거나 코드를 읽을 때, 작업 흐름을 가로채도록 설계된 숨겨진 악의적인 지침이나 컨텍스트에 노출될 수 있습니다. Argon은 내장형 적대적 훈련(adversarial training)과 실시간 보안 검사를 통해 Gray Swan의 간접 프롬프트 주입(Indirect Prompt Injection, IPI) 벤치마크에서 프롬프트 주입 강건성(robustness)을 선도하며, 15회의 적응형 시도에 걸친 공격 성공률을 0.7%까지 낮췄습니다.

위에 설명된 안전 및 보안 방어책은 저희의 광범위한 심층 방어 스택(defense-in-depth stack) 중 단지 세 가지 범주만을 나타냅니다. 안전 테스트 및 완화(mitigations) 접근 방식에 대해 더 자세히 알아보려면, 전체 Gemini 4 Argon 안전 및 보안 보고서와 Gemini 4 Argon 모델 카드를 읽어보십시오.