예측 가능한 실패를 통한 ML 모델 학습

요약

본 기사는 ML 모델의 배포 규모에서의 실패율을 정확하게 추정하는 방법을 다룹니다. 기존 방식은 평가 세트가 충분히 크지 않아 중요한 실패 사례를 관찰하기 어렵다는 한계가 있었습니다. 이를 해결하기 위해, 저자들은 '예측 가능성 손실(forecastability loss)'이라는 새로운 미세 조정 목적 함수를 제안합니다. 이 손실 함수는 모델이 주요 작업 능력을 유지하면서도 안전성을 높이고 예측 오차를 줄이는 데 효과적입니다.

핵심 포인트

• ML 모델의 배포 규모 실패율 추정은 안전성 평가의 핵심 과제이다.
• 기존 방법론은 제한된 평가 세트 크기로 인해 중요한 실패 모드를 관찰하기 어렵다.
• 저자들은 '예측 가능성 손실(forecastability loss)'이라는 새로운 미세 조정 목적 함수를 제안했다.
• 이 손실 함수는 모델의 주요 작업 능력을 유지하면서도 안전성을 향상시키고 예측 오차를 감소시킨다.
• 언어 모델과 RL 그리드월드를 사용한 실험에서 그 효과가 입증되었다.