Lyapunov-Guided Self-Alignment: 오프라인 안전 강화학습을 위한 테스트 타임 어댑테이션

요약

본 논문은 오프라인 강화학습(Offline RL) 에이전트가 학습 데이터와 실제 환경 간의 차이로 인해 발생할 수 있는 안전 문제를 해결하기 위한 프레임워크인 SAS(Self-Alignment for Safety)를 제안합니다. SAS는 재학습 없이 테스트 타임 어댑테이션을 가능하게 하며, 핵심 메커니즘으로 자기 정렬(self-alignment)을 사용합니다. 이는 에이전트가 중립 함수(Lyapunov condition)를 만족하는 가상의 궤적을 생성하고 이를 컨텍스트 인프롬프트로 활용하여 안전성을 확보하면서도 성능 저하를 최소화합니다.

핵심 포인트

• 오프라인 RL의 주요 문제점인 데이터셋과 실제 환경 간의 괴리(Sim-to-Real Gap) 문제를 해결하는 데 초점을 맞춤.
• SAS 프레임워크는 재학습 없이 테스트 타임 어댑테이션을 가능하게 하는 트랜스포머 기반 접근 방식을 사용함.
• 자기 정렬(self-alignment) 메커니즘은 Lyapunov 조건을 만족하는 가상 궤적을 생성하고 이를 컨텍스트 인프롬프트로 활용하여 안전성을 확보함.
• 이 방법론은 에이전트가 파라미터 업데이트 없이도 행동을 안전하게 재정렬할 수 있도록 함으로써 제어 불변성(control-invariant)을 유지함.