AI 레드팀 (Red Teaming)은 진화하는 공격자와 방어자에 맞춰 지속적으로 적응해야 합니다. 강화학습 (Reinforcement Learning)은 새로운 공격을 발견하는 유망한 접근 방식을 제공하며, 공동 학습 (Co-training) 방법은 이와 병행하여 더욱 강력한 방어자를 생성할 수 있습니다. 최근 연구들은 PPO와 DPO를 적용하여 공격자-방어자 공동 학습의 효능을 입증했으나, 이러한 설정에서 GRPO는 불안정하다고 보고했습니다. 우리는 밀집 다채널 보상 (Dense Multi-channel Rewards)과 분리된 어드밴티지 정규화 (Decoupled Advantage Normalization)를 사용하여 GRPO를 공격자-방어자 공동 최적화에 활용 가능하게 만드는 공동 학습 프레임워크인 AdvGRPO를 소개합니다. 학습은 단일 턴 (Single-turn)에서 폐쇄 루프 다중 턴 (Closed-loop Multi-turn) 공격으로 이어지는 커리큘럼을 통해 진행된 후, 공격자 모델과 방어자 모델이 교대로 업데이트되는 공동 학습 부트스트래핑 (Bootstrapping) 단계로 넘어갑니다. 우리는 우리의 방법론이 매우 효과적이고 전이 가능한 (Transferable) 공격을 생성할 수 있으며, 공동 학습된 방어자가 안전성 벤치마크 (Safety Benchmarks)에서 베이스라인 (Baselines)보다 뛰어난 성능을 보임을 입증합니다.