본문으로 건너뛰기
arXiv논문2026. 11. 18. 11:11
LLM-as-a-judge 가드레일을 위한 위험 인증 프롬프트 최적화 대표 이미지

LLM-as-a-judge 가드레일을 위한 위험 인증 프롬프트 최적화

원문 발행 2026. 11. 16. 02:45원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 논문은 LLM 기반 가드레일의 시스템 프롬프트 선택을 제약 최적화 문제로 연구합니다. 목표는 놓친 공격률(missed-attack rate)을 지정된 수준 이하로 유지하며 양성 통과율을 최대화하는 것입니다. 이 프레임워크는 CPS와 CRISP라는 두 가지 절차를 통해 위험 인증 및 프롬프트 생성을 수행합니다.

핵심 포인트

  • 시스템 프롬프트 선택을 제약 최적화 문제로 접근하여 안전성과 성능을 동시에 확보함.
  • 놓친 공격률(missed-attack rate)을 통제하며 양성 유틸리티를 최대화하는 것이 핵심 목표임.
  • CPS는 고정 풀 검색, CRISP는 위험 피드백 기반의 적응형 검색 방식을 사용함.
  • 위험 인증 선택이 허용 가능한 위험 완화에 따라 모델의 유틸리티를 향상시킴을 입증함.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0