소프트웨어 도구 탐색을 위한 LLM 가속 신속 검토 연구 -- 로그 이상 탐지 사례

소프트웨어 공학 연구에서 주요 결과물은 빈번하게 도구(tool)로 나타납니다. 그러나 실무자와 학계 모두에게 어떤 도구가 유지 관리되고 있으며, 별도의 설정 없이 즉시 작동(out of the box)하는지 판단하는 것은 어렵습니다. 본 논문에서는 LLM 스크리닝(screening)을 통해 관련 연구를 식별하고, 그 안에 제시된 도구들을 추출하며, LLM 기반 코딩 에이전트(coding agent)로 이를 실행하는 파이프라인을 제안합니다. 우리 접근 방식의 타당성을 평가하기 위해 소프트웨어 로그 이상 탐지(log anomaly detection) 도구에 집중했습니다. 연구는 Scopus에서 3,233개의 검색 결과를 도출하는 광범위한 검색 문자열(search string)을 설계하는 것으로 시작되었습니다. 우리는 두 개의 LLM에 포함 및 제외 기준에 따라 각 제목-초록 쌍에 대한 포함 확률(inclusion probability)을 제공하도록 요청했습니다. 수출된 3,233개의 초록 중에서 이 스크리닝을 통해 포함된 논문의 수를 569개로 줄였으며, 그중 470개를 다운로드할 수 있었습니다. 이 논문들은 206개의 고유한 링크를 포함하고 있었으며, 수동 평가 후 83개를 도구로 결정했습니다. 마지막으로, 우리는 이 83개의 링크에 대해 LLM 기반 코딩 에이전트를 실행하였고, 24개의 성공적으로 작동하는 도구를 얻었습니다. 우리의 접근 방식을 재현하는 데 약 4시간의 인간 노력(이 중 3시간은 수동 PDF 다운로드)과 12시간의 LLM 실행 시간만 필요하다는 점은, 신속 검토(rapid reviews)에서 LLM을 활용할 때 유망한 효율성을 보여줍니다. 실무자가 구축한 도구는 학술 논문이 부족한 경우가 많기 때문에, 향후에는 GitHub 및 PyPI와 같은 도구 호스팅 플랫폼으로 분석을 확장하는 것을 목표로 합니다. 향후에는 우리의 접근 방식을 더 쉽게 채택할 수 있도록 워크플로우를 LLM 에이전트 기술(LLM Agent Skills)로 공식화할 계획입니다.