Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 기존 LLM 에이전트가 놓치기 쉬운 요구사항 및 설계 아티팩트를 복구하는 새로운 프레임워크를 제시합니다. 이 프레임워크는 정적 의존성 그래프와 핵심 컨텍스트 파일로부터 이해관계자의 의도, 요구사항, 아키텍처를 추출하여 LLM에게 제공합니다. 이를 통해 코딩 에이전트가 테스트만으로는 포착하기 어려운 설계 수준의 정보를 바탕으로 소프트웨어를 재구성할 수 있음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM 에이전트는 구현하기 전에 시스템을 점점 더 많이 설계하지만, 이를 훈련하고 평가하는 데이터는 구현과 테스트에 초점을 맞추고 있습니다. 요구사항 및 설계 아티팩트(artefacts)는 종종 누락되거나, 오래되었거나, 비공개입니다. 반면 소스 코드는 풍부합니다. 이전 연구들은 LLM에게 소스 코드를 제공하거나 에이전트가 이를 탐색하도록 함으로써 아키텍처 문서를 복구했습니다. 이는 컨텍스트를 포화시키고, 많은 리포지토리로 확장되지 않으며, 정렬된 여러 아티팩트 대신 단일 아티팩트를 산출합니다. 우리는 컴팩트한 리포지토리 표현(repository representation), 정적 의존성 그래프(static dependency graph), 그리고 핵심 컨텍스트 파일로부터 정렬된 이해관계자 의도(stakeholder intent), 요구사항, 아키텍처를 복구하는 프레임워크를 제시하고, 10,764개의 Java, Python, C/C++, C# 리포지토리의 아티팩트를 데이터셋으로 공개합니다. LLM 심사관은 세 가지 생성기(generators)의 아티팩트가 명확하고 내부적으로 일관성이 있지만, 신뢰성 있게 정확하거나 적절한 추상화 수준에 도달하지 못한다고 평가했습니다. 이 아티팩트들이 설계를 담고 있는지 테스트하기 위해, 우리는 소프트웨어 테세우스의 배(Ship of Theseus)를 제시합니다. 즉, 코딩 에이전트가 인터페이스 계약과 일부 테스트만 주어진 상태에서 의도만으로 또는 복구된 요구사항 및 아키텍처와 함께 29개의 Commit0 라이브러리를 재구성하는 것입니다. 이 아티팩트들은 보유(held-out) 패스율을 크게 변화시키지 않았습니다(33.7% 대 35.8%)만, 어떤 생성기를 사용하든 간에, 그리고 간결한 아티팩트를 사용하더라도 재구축된 모듈 구조를 원본에 훨씬 가깝게 만들었습니다(모듈 F1이 0.54에서 0.63으로). 따라서 복구된 아티팩트는 테스트가 포착하지 못하는 설계를 전달하며, 구현 전에 설계하는 에이전트를 위한 확장 가능한 설계 수준의 데이터 소스를 제공하고, 이 순환 과정은 인간의 참조 없이 이를 측정합니다.