CLAUDE.md나 AGENTS.md가 낡으면, 코딩 에이전트가 실제 코드보다 그 낡은 문서를 따라간다는 연구가 나옴

요약

연구에 따르면 코딩 에이전트가 실제 코드보다 낡은 문서(CLAUDE.md 등)를 우선시하는 경향을 보입니다. 이는 모델이 지시사항을 과도하게 중요하게 학습했기 때문으로 분석됩니다. 설정 파일에 특정 문장을 추가하여 이 문제를 해결할 수 있으며, 이를 통해 에이전트의 코드 준수율과 테스트 통과율을 크게 높일 수 있었습니다.

핵심 포인트

• 코딩 에이전트는 업데이트되지 않은 문서에 의존하는 경향이 강함.
• 모델은 지시(문서)를 도구 출력(코드)보다 우선시하도록 학습됨.
• 설정 파일에 한 문장 추가가 코드 준수율을 4.2%에서 91.4%로 개선함.
• 이 수정으로 테스트 통과율이 89.4%에서 100%까지 향상되는 효과를 보임.