모방 학습 (Imitation Learning, IL)---전문가의 시연으로부터 에이전트가 전문가의 행동을 복제하도록 훈련하는 것---은 로보틱스에서 언어 모델 훈련에 이르기까지 다양한 응용 분야의 근간이 됩니다. 행동 복제 (Behavior Cloning, BC)와 같은 표준적인 접근 방식은, 특히 학습자가 전문가의 정책 (Policy)을 완벽하게 표현할 수 없을 때(예: 증류 (Distillation) 과정에서 흔히 발생하는 경우), 누적되는 오류와 성능 정체 문제를 겪는 것으로 알려져 있습니다. 성능을 향상시키기 위해 경험적으로 널리 알려진 두 가지 개입 방법은 다음과 같습니다: 학습자 자신의 궤적(Trajectory)을 따라 전문가에게 대화형으로 질의하는 것, 그리고 전문가의 전체 행동 분포를 직접 피팅하기보다 정책을 생성하는 과정에서 가치 함수 (Value Function) 추정을 사용하는 것입니다. 본 연구에서는 이러한 개선의 본질과 그들 사이의 잠재적으로 놀라운 상호작용을 조사합니다. 우리의 주요 발견은 전문가와의 상호작용이 학습자의 표현력 요구 사항을 완화한다는 것입니다. 즉, 학습자는 전문가의 정책 자체를 구현해야 하는 (종종 더 엄격한) 요구 사항을 우회하여, 전문가의 가치 함수를 실현할 수 있는 모델만 있으면 됩니다. 구체적으로, 우리는 학습자가 전문가의 가치 함수를 표현할 수 있는 한 통계적으로 효율적이며, 선형 최대화 오라클 (Linear Maximization Oracle)에 접근할 수 있다면 계산적으로 효율적인 대화형 온폴리 (On-policy) IL 알고리즘인 OVI를 소개합니다. 우리는 상호작용이 필수적임을 보여주는 부정적인 결과(Negative Result)로 이를 보완합니다. 즉, 전문가 가치 실현 가능성(Expert-value realizability) 이상의 강력한 가정이 없다면, 모든 오프라인 (Offline) IL 알고리즘은 전문가 정책 클래스의 복잡성에 따라 규모가 커져야만 합니다. 우리의 연구 결과는 경험적으로 입증되었습니다. OVI는 오프라인 정책 기반 (BC), 대화형 정책 기반 (DAgger), 그리고 오프라인 가치 기반 IL 방법보다 뛰어난 성능을 보였으며, 학습자 네트워크가 전문가보다 실질적으로 표현력이 낮을 때 가장 큰 이득을 얻었습니다.