Computer Science > Software Engineering

Title: Constraint Decay: The Fragility of LLM Agents in Backend Code Generation

View PDF HTML (experimental)

초록: 대규모 언어 모델 (LLM) 에이전트는 느슨한 사양 하에서의 자율적인 코드 생성에서 강력한 성능을 보여줍니다. 그러나 프로덕션 등급의 소프트웨어는 아키텍처 패턴 (architectural patterns), 데이터베이스 (databases), 객체 관계 매핑 (object-relational mappings, ORM)과 같은 구조적 제약 조건을 엄격히 준수해야 합니다. 기존의 벤치마크 (benchmarks)는 이러한 비기능적 요구사항 (non-functional requirements)을 간과하는 경우가 많으며, 기능적으로는 올바르지만 구조적으로는 임의적인 솔루션에 보상을 줍니다. 본 연구에서는 에이전트가 다중 파일 백엔드 생성 시 구조적 제약 조건을 얼마나 잘 처리하는지 평가하는 체계적인 연구를 제시합니다. 8개의 웹 프레임워크 (web frameworks)에 걸친 80개의 그린필드 (greenfield) 생성 작업과 20개의 기능 구현 작업을 대상으로 통일된 API 계약 (API contract)을 고정함으로써, 엔드 투 엔드 (end-to-end) 동작 테스트와 정적 검증기 (static verifiers)를 이용한 이중 평가를 통해 구조적 복잡성의 영향을 격리하여 분석했습니다. 연구 결과, '제약 조건의 붕괴 (constraint decay)' 현상이 드러났습니다. 즉, 구조적 요구사항이 누적됨에 따라 에이전트의 성능이 실질적으로 하락합니다. 유능한 설정의 경우 베이스라인 (baseline) 대비 완전 명시된 작업에서 어설션 통과율 (assertion pass rates)이 평균 30포인트 하락했으며, 일부 성능이 낮은 설정은 0에 근접했습니다. 프레임워크 민감도 분석 (Framework sensitivity analysis) 결과 상당한 성능 격차가 노출되었습니다. 에이전트는 최소한의 명시적 프레임워크(예: Flask)에서는 성공하지만, 관습 중심적인 환경(예: FastAPI, Django)에서는 평균적으로 훨씬 낮은 성능을 보였습니다. 마지막으로, 오류 분석을 통해 데이터 계층 결함(예: 잘못된 쿼리 구성 및 ORM 런타임 위반)이 주요 근본 원인임을 확인했습니다. 본 연구는 기능적 요구사항과 구조적 요구사항을 동시에 충족하는 것이 코딩 에이전트에게 여전히 핵심적인 미해결 과제임을 강조합니다.

Bibliographic and Citation Tools

Code, Data and Media Associated with this Article

Demos

Recommenders and Search Tools

arXivLabs: experimental projects with community collaborators

arXivLabs는 협력자들이 저희 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 지원하는 프레임워크입니다.

arXivLabs와 함께하는 개인 및 조직 모두 개방성 (openness), 커뮤니티 (community), 탁월함 (excellence), 그리고 사용자 데이터 프라이버시 (user data privacy)라는 저희의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하고 있으며, 이를 준수하는 파트너와만 협력합니다.

arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 더 알아보기