배경: 소프트웨어 시스템의 복잡성 증가와 AI 코딩 에이전트에 의한 가속화된 코드 생성으로 인해 효과적인 코드 리뷰 수행이 점점 더 어려워지고 있습니다. LLM(대규모 언어 모델) 기반 접근 방식은 결함을 식별하고 코드 품질을 개선하는 데 유망한 결과를 보여주었습니다. 하지만 기존의 접근 방식들은 프로젝트별 컨텍스트화된 지식을 거의 고려하지 않으며, 산업 환경에서 평가된 사례는 드뭅니다.
목표: 본 연구에서는 코드 변경 사항에 대한 다면적인 평가를 제공하는 다중 에이전트 기반 솔루션을 제안합니다.
방법: 디자인 과학 연구 프로세스(Design Science Research Process)를 따라, 우리는 산업 환경에서 솔루션을 개발하고 평가했습니다. 우리의 솔루션은 전문화된 에이전트의 기술과 컨텍스트별 지식을 결합하여 네 가지 차원, 즉 가독성(readability), 유지보수성(maintainability), 신뢰성(reliability), 그리고 성능(performance)에 걸쳐 코드 변경 사항의 안티패턴(antipatterns)을 식별합니다. 이 솔루션을 사용하여 여러 코드 커밋에 대한 리뷰를 생성하고 200개 이상의 이슈를 식별했습니다. 이후 이 이슈들은 사례 회사의 개발자들에 의해 정확성과 중요도 측면에서 수동으로 검증되었습니다.
결과: 평가 결과는 우리의 솔루션이 조사된 코드 커밋의 이슈를 올바르게 식별하는 데 96%의 정확도를 달성함을 보여줍니다. 더욱이, 올바르게 식별된 이슈 중 약 69%가 중요하다고 평가되었으며, 이 중 약 33%는 반드시 수정해야 하는 심각한(severe) 이슈로, 36%는 수정해야 할 중요한 이슈로 평가되었습니다. 개발자들로부터 얻은 정성적 피드백은 이러한 발견을 뒷받침하며 생성된 리뷰의 유용성을 강조합니다.
결론: 우리의 연구 결과는 전문화된 에이전트 기술과 컨텍스트별 지식을 결합하는 것이 정확하고 실질적으로 유용한 코드 리뷰를 산출한다는 것을 산업 평가를 통해 경험적으로 입증합니다.