MDP에서 확률적 안전성을 보장하기 위한 쉴드

요약

본 논문은 자율 에이전트의 안전성을 확보하기 위한 '쉴딩(Shielding)' 기법을 다루며, 특히 확률적 안전성(probabilistic safety)을 보장하는 확장된 프레임워크를 제시합니다. 기존의 쉴딩이 절대적인 안전성을 목표로 했다면, 이 연구는 어느 정도 수용 가능한 확률로 위험이 발생하는 경우에 초점을 맞춥니다. 이를 위해 강력한 보장을 유지하면서도 자연스러운 쉴드를 제공하고, 오프라인 및 온라인 환경에서 작동하는 새로운 쉴드 구성 방식을 제안합니다.

핵심 포인트

• 쉴딩(Shielding)은 자율 에이전트의 안전성을 확보하기 위한 모델 기반 기법이다.
• 기존 쉴딩은 절대적인 안전성 보장을 목표로 했으나, 본 연구는 확률적 안전성(probabilistic safety)을 다룬다.
• 제시된 프레임워크는 강력한 안전성 보장과 자연스러운 쉴드 제공 사이의 트레이드오프를 분석한다.
• 연구는 약한 보장을 가진 자연스러운 쉴드와, 강력한 안전성 보장을 위한 오프라인/온라인 쉴드를 각각 소개한다.