실무자들은 어떻게 SE 에이전트를 구축하는가? 혼합 연구 방법론을 통한 통찰
요약
본 논문은 소프트웨어 엔지니어링(SE) 에이전트의 실제 구축 과정을 연구한 최초의 사례입니다. 12개 조직 실무자 인터뷰와 설문 조사를 통해, SE 프로세스가 변화하고 개발자들이 직면하는 어려움을 분석했습니다. 특히 코딩 외 작업들이 중요해지고, 평가 주도 개발(evaluation-driven development)로 전환되는 추세를 발견했습니다.
핵심 포인트
- SE 에이전트 구축 과정에 대한 실무적 통찰 제공
- 코딩 외 요구사항 정의, 검토 등 비개발 작업의 중요성 증가
- 평가 주도 개발(evaluation-driven development) 워크플로우 특징화
- 신뢰할 수 없는 평가 신호 및 이해력 부채 등의 과제 제시
소프트웨어 엔지니어링(SE) 에이전트, 즉 대규모 코드베이스를 이해하고 제한적인 인간 개입으로 엔지니어링 작업을 수행할 수 있는 LLM 기반 에이전트의 등장은 급속한 발전과 채택을 보여왔지만, 개발자들이 실제로 이러한 시스템을 어떻게 구축하는지에 대해서는 알려진 바가 거의 없습니다. 기존 연구들은 리포지토리를 마이닝하거나 배포를 검토하지만, SE 에이전트가 어떻게 구성되는지를 조사하는 경우는 드뭅니다. 12개 조직의 실무자 20명과의 반구조화 인터뷰와 80명의 실무자를 대상으로 한 온라인 설문 조사를 통해, 본 논문은 SE 에이전트 개발 과정에서 SE 프로세스가 어떻게 변화하고 있으며 개발자들이 어떤 어려움에 직면하는지를 연구한 최초의 사례입니다. 우리는 구현 비용이 저렴해짐에 따라 병목 현상이 사라지기보다는 이동한다는 것을 발견했습니다. 요구사항 정의, 조정, 검토, 배포와 같은 오랫동안 존재했던 코딩 외 작업들이 더욱 두드러지게 나타나는 반면, 에이전트 출력을 검토하고 평가하는 것이 새롭고 핵심적인 활동이 되고 있습니다. 우리는 7단계의 워크플로우와 평가 주도 개발(evaluation-driven development)로의 전환을 특징화하며, 이 과정에서 평가는 반복을 안내하고 명세는 인간과 에이전트 모두가 읽는 버전 관리 아티팩트가 됩니다. 나아가 팀들이 직면하는 여섯 가지 과제와 이를 해결하기 위해 채택하는 관행들을 식별했는데, 여기에는 신뢰할 수 없는 평가 신호, 코드가 이해도를 앞지르는 '이해력 부채(comprehension debt)', 그리고 제공자 측 모델 업데이트로 인해 발생하는 행동 변화 등이 포함됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기