매끄러운 연속 제어를 위한 암시적 액션 청킹 (Implicit Action Chunking)

요약

강화학습의 고주파 진동 문제를 해결하기 위해 액션 공간을 확장하지 않고도 시간적 일관성을 유지하는 '이중 윈도우 평활화(DWS)' 프레임워크를 제안합니다. DWS는 물리적 매끄러움을 위한 실행 윈도우와 크리틱 편향을 수정하는 가치 윈도우를 사용하여 시간적 추상화와 단계별 제어 사이의 간극을 메웁니다. 실험 결과, DeepMind Control Suite 및 자율 주행 태스크에서 기존 방식보다 뛰어난 성능과 안정성을 입증했습니다.

핵심 포인트

• 명시적 액션 청킹의 단점인 출력 차원 확장 및 최적화 어려움을 해결하는 암시적 방식 제안
• 이중 윈도우 설계(실행 윈도우 및 가치 윈도우)를 통한 물리적 매끄러움과 크리틱 편향 수정
• 1차 액션 차이에 기반한 경량화된 시간적 정규화 항을 통해 전역적 연속성 촉진
• 자율 주행 등 복잡한 태스크에서 지터(jitter) 감소 및 높은 성공률 달성