GPT-Red란 무엇인가? OpenAI의 자동 red-teaming 메커니즘, 수치, 한계 정리

요약

OpenAI가 자사 모델의 약점을 탐색하기 위해 개발한 내부 전용 LLM인 GPT-Red를 발표했습니다. 이 모델은 self-play 루프와 dojo 환경을 통해 공격 기술을 학습하며, 특히 fake chain of thought와 같은 새로운 공격 방식을 발견했습니다.

핵심 포인트

• GPT-Red는 모델의 취약점을 찾는 자동 red-teaming 메커니즘임
• fake chain of thought를 통해 모델의 추론 로그를 조작하는 공격 발견
• 간접 프롬프트 인젝션 분야에서 인간보다 높은 공격 성공률 기록
• 모델 업데이트에 따른 공격 성공률의 급격한 변화 수치 제시