LLM을 위한 온라인 안전 모니터링 (Online Safety Monitoring for LLMs)

요약

LLM 배포 시 발생할 수 있는 안전하지 않은 출력을 실시간으로 감지하기 위한 온라인 모니터링 연구를 소개합니다. 외부 모델의 검증기 신호와 리스크 제어 기반의 임계값 설정을 통해 효율적인 경보 시스템을 제안합니다.

핵심 포인트

• 정렬 학습 후에도 잔존하는 LLM의 안전성 문제를 해결하기 위한 실시간 모니터링 연구
• 외부 모델의 검증기 신호를 임계값 설정(thresholding)을 통해 경보로 전환하는 방식 제안
• 리스크 제어를 통한 임계값 보정 메커니즘 적용
• 수학적 추론 및 레드 티밍 데이터셋 실험을 통해 기존 방식 대비 경쟁력 입증