사람들은 RL(강화학습) 환경과 에이전트 시뮬레이션이 얼마나 밀접하게 연결되어 있는지 잘 모릅니다.

오늘날 대부분의 RL 환경은 여전히 정적인 스냅샷입니다. 코딩이나 도구 사용을 예로 들면, 레포지토리(repo), 도구, API, 데이터 등은 이미 설정되어 있고, 에이전트는 그 기존 상태에 따라 행동합니다.

하지만 환경이 더 정교해짐에 따라, 에이전트 주변의 세계를 시뮬레이션해야 합니다. 코드 리뷰, 이메일/메시지 응답, 사용자 피드백, 다른 에이전트, 변화하는 상태 등입니다...

이를 현실적으로 수행하면서도 환경을 검증 가능하게 유지하고 보상 해킹(reward-hackable)되지 않도록 하는 것은 정말 재미있는 문제입니다.