LLM의 지시 계층 구조 강화: 안전성과 견고성 향상 방안

요약

최신 대규모 언어 모델(LLM)은 시스템 메시지, 개발자 가이드, 사용자 요청 등 여러 출처의 지시를 동시에 받습니다. 이 중 어떤 지시가 가장 신뢰할 수 있는지 우선순위를 결정하는 '지시 계층 구조(instruction hierarchy)'는 LLM 안전 배포의 핵심입니다. OpenAI는 이러한 충돌 상황을 해결하기 위해 시스템 > 개발자 > 사용자 > 도구 순서로 명확한 계층 구조를 확립하고, 이를 강화학습 (Reinforcement Learning) 기반의 새로운 데이터셋 'IH-Challenge'로 학습시켰습니다. IH-C는

핵심 포인트

• LLM은 여러 출처의 지시(시스템, 사용자 등)가 충돌할 때 신뢰도에 따라 우선순위를 결정해야 합니다.
• OpenAI는 시스템 > 개발자 > 사용자 > 도구 순서로 명확한 지시 계층 구조를 모델에 적용합니다.
• 새로운 데이터셋 'IH-Challenge'는 단순하고 객관적으로 평가 가능하며, 과도한 거절(overrefusal)을 방지하도록 설계되었습니다.
• IH-Challenge 학습을 통해 개발된 모델은 안전성 제어 능력과 프롬프트 주입 공격에 대한 견고성이 크게 향상됩니다.