오픈 소스 커뮤니티는 AI가 생성한 기여물로 넘쳐나고 있습니다. 이에 대응하여, 커뮤니티들은 완전 금지부터 의무적 공개, 검증 게이트(verification gates) 및 인간의 승인에 이르기까지 코딩 에이전트(coding agents)의 행동을 규제하기 위한 기여 규칙을 작성해 왔습니다. 하지만 코딩 에이전트가 이러한 규칙을 읽고 따르는지, 그리고 오픈 소스 저장소(repositories)에서 어떻게 행동하는지는 여전히 알려지지 않았습니다. 코딩 에이전트의 실제 규칙 준수 여부를 추정하기 위해, 우리는 AI 기여 규칙을 포함하는 49개의 저장소에서 106개의 이슈(issues)를 추출하여 RepoComplianceBench를 구축했습니다. 우리는 각 실행의 궤적을 저장소의 규칙에 따라 판단하여, 에이전트가 기여를 거부하는지, 도움을 받았음을 진실하게 공개하는지, 요구되는 검증 게이트를 통과하는지, 또는 중요한 단계를 인간에게 에스컬레이션(escalates)하는지를 측정합니다. 또한 추가 프롬프트(prompts), 규칙 공개, 또는 준수 검증기(compliance verifier)의 피드백이 상황 개선에 도움이 되는지도 테스트합니다. 네 가지 프론티어 모델(frontier models)을 대상으로 한 실험 결과, 오늘날의 에이전트들은 기여 규칙을 선제적으로 검색하는 경우가 거의 없는 것으로 나타났습니다. 에이전트들은 리마인더 프롬프트(reminder prompts), 규칙 인용, 검증기 피드백을 통해 공개 및 검증을 수행합니다. 그러나 우리가 테스트한 어떤 조건에서도 AI가 금지된 저장소에서 기여를 거부하는 경우는 없었습니다. 이러한 상태는 검증 및 공개 문제는 기존 메커니즘으로 해결 가능하지만, 금지 조치를 강제하거나 인간에게 에스컬레이션하는 것은 여전히 해결되지 않은 과제로 남아 있음을 보여줍니다.