When No Benchmark Exists: Validating Comparative LLM Safety Scoring Without

요약

본 기사는 기존의 라벨링된 벤치마크가 없는 상황에서 여러 LLM의 안전성을 비교 평가하는 방법론을 제시합니다. 이 '라벨 없는 비교 안전 점수(benchmarkless comparative safety scoring)'는 고정된 시나리오, 평가 기준, 감사자/판사 등의 엄격한 조건 하에만 유효하며, 단순 응답성 측정 대신 목표 기반 분산 우위 및 재실행 안정성을 핵심 지표로 사용합니다. 이를 통해 실제 공공 부문 조달 사례(노르웨이)를 검증하고, 안전성이 모델의 시나리오 카테고리 및 위험 측정에 따라 달라지므로 단일 점수화보다는 여러 메트릭을 종합적으로 보고해야 함을 강조합니다.

핵심 포인트

• 벤치마크가 없는 상황에서 LLM 안전성 비교 평가 방법론(benchmarkless comparative safety scoring)을 공식화함.
• 평가는 고정된 시나리오 팩, 평가 체계, 감사자/판사 등의 엄격한 조건 하에만 유효하며, 재실행 안정성을 중요한 지표로 사용함.
• 안전성 비교는 단순 응답성(responsiveness) 대신 목표 기반 분산 우위 및 위험 측정에 초점을 맞춤.
• 노르웨이 공공 부문 조달 사례를 통해 실제 환경에서 모델 간 안전성 차이를 입증함 (예: Borealis vs Gemma 3).
• 안전성은 단일 점수로 환원될 수 없으며, 시나리오 카테고리별 위험 측정, 일치된 델타, 임계율 등 다양한 메트릭을 함께 보고해야 함.