코딩 에이전트 설정 파일의 지침 준수: 네 가지 파일 구조 변수에 대한 요인 설계 연구

요약

본 연구는 최첨단 코딩 에이전트가 설정 파일의 지침을 얼마나 잘 따르는지(준수도)를 구조적 변수를 중심으로 요인 설계 방식으로 분석했습니다. 1,650회의 Claude Code CLI 세션 데이터를 사용하여 네 가지 구조적 변수(파일 크기, 지침 위치 등)와 코딩 작업 간의 상호작용 효과를 측정했으나, 이들 구조적 변수들이 준수도에 미치는 유의미한 영향은 발견하지 못했습니다. 대신, 가장 큰 효과는 세션 내에서 에이전트가 생성하는 함수 개수 증가에 따른 단계별 준수 확률 감소(비단조적 경향)였으며, 이는 코딩 작업과 함수 생성 순서에 따라 준수도가 체계적으로 변화함을 시사합니다.

핵심 포인트

• 코딩 에이전트의 설정 파일 지침 준수는 구조적 변수(파일 크기, 위치 등)보다는 세션 내 진행 과정에 더 크게 의존한다.
• 가장 큰 효과는 세션 길이와 관련하여 함수 생성 단계별 준수 확률이 비단조적으로 감소하는 경향이었다 (OR = 0.944).
• 구조적 변수(파일 구조, 충돌 등)를 조작하더라도 통계적으로 유의미한 준수도 향상을 입증하기 어려웠다.
• 준수도는 코딩 작업 자체와 세션 내에서 함수가 생성되는 순서에 따라 체계적인 변화를 보였다.