LLM-as-a-judge 가드레일을 위한 위험 인증 프롬프트 최적화
요약
본 논문은 LLM 기반 가드레일의 시스템 프롬프트 선택을 제약 최적화 문제로 연구합니다. 목표는 놓친 공격률(missed-attack rate)을 지정된 수준 이하로 유지하며 양성 통과율을 최대화하는 것입니다. 이 프레임워크는 CPS와 CRISP라는 두 가지 절차를 통해 위험 인증 및 프롬프트 생성을 수행합니다.
핵심 포인트
- 시스템 프롬프트 선택을 제약 최적화 문제로 접근하여 안전성과 성능을 동시에 확보함.
- 놓친 공격률(missed-attack rate)을 통제하며 양성 유틸리티를 최대화하는 것이 핵심 목표임.
- CPS는 고정 풀 검색, CRISP는 위험 피드백 기반의 적응형 검색 방식을 사용함.
- 위험 인증 선택이 허용 가능한 위험 완화에 따라 모델의 유틸리티를 향상시킴을 입증함.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기