「칭찬받지 못하는」 학습의 어려움

자전거 연습을 할 때, 부모가 페달을 밟을 때마다 일일이 피드백을 준다면 학습은 빠를 것이다. 하지만 현실에서는 수백 번 넘어지면서 30분을 들여 겨우 5미터를 나아가는 것처럼 피드백이 드문드문한(Sparse) 상황이 더 많다. 이것이 Sparse Reward (희소 보상) 문제다.

강화학습과 보상의 관계

강화학습은 행동 → 환경 변화 → 보상 → 학습이라는 루프로 진행된다. Dense Reward (매 스텝 세밀하게 보상을 주는 방식)는 학습이 용이하지만, 현실 세계에서는 "목표에 0.1미터 가까워지면 +0.01"과 같은 무수히 많은 요소 모두에 올바른 보상값을 설계하는 것은 거의 불가능하다.

Sparse Reward (태스크 완료 시에만 +1, 그 외에는 0)는 설계 자체는 심플하지만, 100스텝이 걸리는 태스크의 어떤 행동이 성공에 기여했는지를 특정하는 **공적 할당 문제 (Credit Assignment Problem)**로 인해 학습이 극도로 어려워진다. 시도가 1000번 연속으로 실패하면 학습 시그널은 0인 상태 그대로다.

기존의 해결책과 그 한계

Reward Shaping (골 지점 접근에 따른 보조 보상을 추가하는 방식)은 인간의 사전 지식에 의존하며, 설계를 잘못하면 "골 지점을 무시하고 코인만 계속 모으는" 식의 의도하지 않은 행동을 유발한다. Curriculum Learning (쉬운 태스크부터 점진적으로 어렵게 만드는 방식)은 단계 설계 자체가 어렵고, Hierarchical RL (서브 태스크로 분해하여 각각에 보상을 주는 방식)은 서브 태스크로의 분해를 인간이 설계해야만 한다.

자기지도 학습: 보상 없이 배우기

**자기지도 학습 (Self-Supervised Learning, SSL)**은 "외부로부터의 보상"이 아니라 "데이터의 내부 구조"를 학습 시그널로 삼는다. 이미지의 회전 각도를 맞추기, 동일한 물체의 서로 다른 관점을 가깝게 만드는 대조 학습 (Contrastive Learning), 이미지의 일부를 가리고 예측하는 마스크 예측 (Masked Prediction) — 이들은 모두 정답이 데이터 자체로부터 자명하게 결정되기 때문에 인간의 라벨링이 필요 없다.

자기지도 학습 + 강화학습: 최강의 조합

2단계 접근 방식이 유효하다. 스텝 1에서는 로봇이 환경을 관찰한 대량의 라벨 없는 영상으로부터 대조 학습을 통해 유용한 시각적 표현을 학습한다 (보상 불필요). 스텝 2에서는 이 학습된 인코더 (Encoder)를 고정하고, 그 특징 (수백 차원)을 입력으로 하는 작은 정책 (Policy)을 Sparse Reward로 훈련한다. 생(raw) 픽셀 (200만 차원)을 직접 다루는 것보다 차원이 대폭 축소되어 학습이 차원이 다르게 용이해진다. 실제 비교 실험에서는 생 픽셀을 이용한 Sparse RL이 100 에피소드 후 5%, 1000 에피소드 후 30%의 성공률을 보인 반면, 자기지도 표현을 사용하면 각각 40%, 85%까지 향상되었다.

호기심 주도형 학습 (Curiosity-Driven Learning)

외부 보상이 없더라도 "미지의 상태를 탐색하는 것" 자체를 **내재적 보상 (Intrinsic Reward)**으로 삼는 접근 방식도 있다. 현재의 상태와 행동으로부터 다음 상태를 예측하는 순방향 모델 (Forward Model)을 준비하여, 예측이 빗나갈수록 (= 새로운 경험일수록) 높은 내재적 보상을 준다. 미로 탐색의 예에서는 기존의 Sparse RL이 1만 번 시도해도 한 번도 출구에 도달하지 못해 학습이 진행되지 않는 반면, 호기심 주도형 RL은 탐색을 통해 맵을 파악하고 우연히 출구에 도달한 이후에는 급속도로 경로를 학습한다.

Hindsight Experience Replay (HER): 실패로부터 배우기

"빨간 공을 상자 A에 넣기" 태스크에서 실수로 상자 B에 넣어버린 경우, 이는 실패로서 보상 0이 된다. 하지만 "상자 B에 넣기" 태스크였다면 성공이었을 것이다. HER는 실제로 달성한 상태를 사후적으로 목표로서 다시 기록함으로써, 모든 실패를 학습의 기회로 바꾼다. Sparse RL 단독으로는 1000 에피소드 후의 성공률이 10%였던 것에 비해, HER를 병용하면 75%까지 향상된다.

MESA에서의 구현

MESA는 자기지도 학습 (유용한 표현 획득), 호기심 주도형 학습 (탐색 촉진), Hindsight Experience Replay (실패로부터의 학습), 그리고 소량의 Sparse Reward (최종 목표 지정)를 통합적으로 조합함으로써, 보상 설계의 부담을 대폭 경감하면서도 고성능 에이전트를 훈련한다.

실제 리포지토리(Repository)에서는 이 이론보다 훨씬 단순한 접근 방식을 취하고 있다. 제3부에서 살펴보겠지만, 보상은 food_bonus와 같은 단순한 보너스 값으로서 직접적으로 주어지며, Sparse성(희소성)은 DINOv2의 동결된 인코더(Frozen Encoder)를 통해 관측값(Observation)을 저차원으로 축소함으로써 실질적으로 완화된다. 이론의 전부를 구현할 필요는 없다는 좋은 사례다.

결론: 보상의 저주로부터 해방되다

강화학습 (RL)의 가장 큰 과제는 '무엇이 좋은 행동인가'를 인간이 명시적으로 정의해야 하는 보상 설계 (Reward Design)에 있었다. 자기지도 학습 (Self-Supervised Learning)은 데이터 자체로부터 학습 신호를 생성함으로써 이 저주를 해소한다. 로봇은 '보상을 기다리는 존재'가 아니라, 스스로 배우고, 탐색하며, 성장하는 존재가 된다.

Discussion