OpenAI가 자체 모델을 해킹하는 AI, GPT-Red를 발표하다

요약

OpenAI가 AI 에이전트의 도구 사용에 대한 내부 적대 모델인 GPT-Red를 발표했습니다. 이 모델은 프롬프트 주입 공격을 고안하고 성공적인 익스플로잇을 방어 훈련 데이터로 전환합니다. GPT-Red는 내부 전용으로 운영되어, 그 결과물만 미래의 GPT 모델 강화에 사용될 예정입니다.

핵심 포인트

• GPT-Red는 AI 에이전트 도구 사용에 대한 공격 모델이다.
• 공격 성공 사례를 방어 훈련 데이터로 활용한다.
• 내부 전용으로 운영되어 외부 API로는 제공되지 않는다.
• 미래의 GPT 모델들은 GPT-Red의 공격을 통해 강화될 것이다.