Computer Science > Software Engineering

Title: Tokenomics: 에이전트 기반 소프트웨어 엔지니어링에서 토큰이 사용되는 위치의 정량화

View PDF HTML (experimental)
초록: LLM 기반 멀티 에이전트 (LLM-MA) 시스템은 요구사항 공학 (Requirements Engineering), 코드 생성 (Code Generation), 테스트 (Testing)와 같은 복잡한 소프트웨어 엔지니어링 작업을 자동화하는 데 점점 더 많이 적용되고 있습니다. 그러나 이들의 운영 효율성과 자원 소비는 여전히 제대로 이해되지 않고 있으며, 이는 예측 불가능한 비용과 환경적 영향으로 인해 실질적인 도입을 저해하고 있습니다. 이를 해결하기 위해, 우리는 소프트웨어 개발 생명 주기 (SDLC) 내의 LLM-MA 시스템에서 토큰 소비 패턴을 분석하여, 서로 다른 소프트웨어 엔지니어링 활동 전반에 걸쳐 토큰이 어디에서 소비되는지 이해하는 것을 목표로 합니다. 우리는 GPT-5 추론 모델을 사용하여 ChatDev 프레임워크를 통해 수행된 30개의 소프트웨어 개발 작업의 실행 추적 (Execution Traces)을 분석하였으며, 내부 단계들을 별도의 개발 단계 (설계 (Design), 코딩 (Coding), 코드 완성 (Code Completion), 코드 리뷰 (Code Review), 테스트 (Testing), 문서화 (Documentation))로 매핑하여 표준화된 평가 프레임워크를 구축했습니다. 그런 다음 이러한 단계 전반에 걸친 토큰 분포 (입력 (Input), 출력 (Output), 추론 (Reasoning))를 정량화하고 비교했습니다.

우리의 예비 연구 결과에 따르면, 반복적인 코드 리뷰 (Code Review) 단계가 평균 59.4%의 토큰을 차지하며 토큰 소비의 대부분을 차지하는 것으로 나타났습니다. 또한, 입력 (Input) 토큰이 평균 53.9%로 소비의 가장 큰 비중을 지속적으로 차지함을 관찰하였으며, 이는 에이전트 간 협업에서 잠재적으로 상당한 비효율성이 존재한다는 실증적 증거를 제공합니다. 우리의 결과는 에이전트 기반 소프트웨어 엔지니어링의 주요 비용이 초기 코드 생성에 있는 것이 아니라 자동화된 개선 및 검증에 있음을 시사합니다. 우리의 새로운 방법론은 실무자들이 비용을 예측하고 워크플로우를 최적화하는 데 도움을 줄 수 있으며, 향후 연구가 더 토큰 효율적인 에이전트 협업 프로토콜을 개발하는 방향으로 나아가도록 안내합니다.

Current browse context:

Bibliographic and Citation Tools

Code, Data and Media Associated with this Article

Demos

추천 도구 및 검색 도구 (Recommenders and Search Tools)

arXivLabs: 커뮤니티 협력자와 함께하는 실험적 프로젝트

arXivLabs는 협력자들이 arXiv 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있도록 지원하는 프레임워크입니다.

arXivLabs와 함께 활동하는 개인 및 조직은 모두 개방성, 커뮤니티, 탁월함, 그리고 사용자 데이터 프라이버시라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하고 있으며, 이를 준수하는 파트너와만 협력합니다.

arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 더 알아보기