지침 파일이 에이전트의 풀 리퀘스트에 미치는 영향 연구: Instructions-as-Code를 향하여

AI-agents(예: GitHub Copilot)는 코드 생성 및 풀 리퀘스트(Agentic-PRs) 제안을 포함한 다양한 소프트웨어 엔지니어링 작업에서 팀원처럼 협업합니다. 에이전트의 효율성을 높이기 위해 개발자들은 AI-agents에게 프로젝트 탐색 방법, 적절한 구성 요소 위치 파악, 테스트 실행, 모범 사례 준수 방법 등을 안내하는 지침 파일(instruction files)을 만듭니다. 본 논문에서는 이러한 지침 파일의 생성과 AI-agents가 더 높은 성공률(즉, 병합률)을 가진 더 나은 풀 리퀘스트를 생성하고, 더 복잡한 작업(예: 코드 변경량(code churn))을 처리하며, 병합하는 데 필요한 노력을 줄이는 성능 사이의 관계를 조사합니다. 이를 위해 AIDev 데이터셋에 포함된 148개 프로젝트의 15,549개 에이전트 PR을 분석했습니다. 세 가지 차원을 사용하여 지침 파일 생성 전후의 각 프로젝트를 비교했습니다. 저희는 AI-agents에게 지침을 명시하는 것이 반드시 더 나은 결과를 가져오지는 않는다는 것을 발견했습니다. 지침 파일을 사용한 경우, 27.7%의 프로젝트가 병합률을 최소 20% 증가시킨 반면, 26.35%는 이를 감소시켰습니다. 이러한 관찰 결과는 변경량(예: 코드 변경량, 수정된 파일 수) 및 에이전트 PR을 병합하는 노력(예: 병합 시간 및 댓글 수)에서도 동일하게 나타났습니다. 초기 탐색에 따르면, 병합률 증가에 성공한 프로젝트들은 상당히 긴 지침 파일을 가지고 있었으며, 이러한 파일들은 더 많은 섹션과 하위 섹션으로 잘 구조화되어 있었습니다. 저희의 결과는 실무자들이 지침 파일 개발을 소프트웨어 엔지니어링 활동(즉, Instructions-as-Code)으로 구성하는 데 도움을 줄 연구가 필요함을 시사합니다.