항력 감소인가 보상 해킹(Reward Hacking)인가? 정당한 보상을 획득하는 순환형 다중 에이전트 강화학습 (Recurrent

강화학습 (Reinforcement-learning) 에이전트는 자신의 보상을 최대화하며, 이는 설계자가 의도한 결과와 달라질 수 있습니다. 물리적 제어 (Physical control) 분야에서 보상이 그 간극을 메우는 경우는 드물며, 벽면 난류 (Wall turbulence)에서의 항력 감소 (Drag reduction)가 이를 구체적으로 보여줍니다. 질량 보존 투영 (Mass-conservation projection)은 에이전트들의 출력을 결합하여 정책 경사 (Policy gradient)에 필요한 에이전트별 기여도 (Per-agent credit)를 지워버립니다. 또한, 메모리가 없는 정책 (Memoryless policy)은 에이전트가 작용하는 느린 벽면 근처 사이클 (Near-wall cycle)을 해결할 수 없으며, 압력 구배 (Pressure-gradient) 보상은 벽면을 통해 펌핑 전력을 소모함으로써 명목상의 항력 감소에 대한 대가를 치르게 합니다. 두 가지 퇴화된 제어기 (Degenerate controllers)는 전체 소산 (Total dissipation)이 증가함에도 불구하고 큰 항력 감소를 달성하므로, 보고된 수치는 더 낭비적인 흐름을 은폐할 수 있습니다. 우리는 각 결함의 원인을 추적하여 이를 수정합니다: 기여도를 복원하는 미분 가능한 투영 (Differentiable projection), 확장된 감지 스텐실 (Sensing stencil)을 가진 순환형 정책 (Recurrent policy), 그리고 실제 벽면 전력 (Wall power)을 기준으로 점수를 매기는 보상입니다. 수정된 제어기는 폐쇄된 에너지 예산 내에서 흐름에 작용하며, 정직한 회계 하에 보수적인 17%를 획득합니다.