코드 생성을 위한 에이전트 지침 카테고리의 역할: 다섯 가지 Python 라이브러리 연구

요약

본 연구는 에이전트 코딩 시스템의 효율성을 높이기 위해 다섯 가지 지침 카테고리(저장소 개요, 함수 설명 등)가 코드 생성에 미치는 영향을 평가했습니다. Gemma 4와 GPT-5.4 두 LLM을 사용하여 다양한 Python 라이브러리 조합에서 테스트를 진행한 결과, 특정 지침이 모델별로 높은 성능을 보였습니다.

핵심 포인트

• 지침의 개수만으로는 토큰 사용량을 예측하기 어려움.
• 대부분의 AI 생성 코드는 컴파일되었으나 기능적 정확성은 제한적이었음.
• Gemma 4는 '함수 설명' 지침에서 가장 높은 부분 합격률을 보임.
• GPT-5.4는 '재구성 단계' 지침에서 가장 높은 전체 합격률을 달성함.