오픈 소스 커뮤니티 내 코딩 에이전트의 AI 기여 규칙 준수에 관한 첫 번째 고찰

요약

오픈 소스 커뮤니티 내 코딩 에이전트의 기여 규칙 준수 여부를 분석하기 위해 RepoComplianceBench를 구축하고 실험했습니다. 연구 결과, 에이전트들은 프롬프트나 피드백을 통해 공개 및 검증은 수행할 수 있으나, 기여 금지 규칙을 스스로 준수하거나 인간에게 에스컬레이션하는 능력은 부족한 것으로 나타났습니다.

핵심 포인트

• RepoComplianceBench: 에이전트의 규칙 준수 측정을 위한 벤치마크 구축
• 에이전트는 규칙을 선제적으로 검색하지 않으며 프롬프트에 의존함
• 공개 및 검증은 가능하나, 금지된 기여를 거부하는 능력은 미흡함
• 에이전트의 자율적 규칙 준수 및 에스컬레이션은 향후 해결 과제