ATLAS: 대규모 소프트웨어 생태계를 위한 에이전트 기반 분류 체계 (Agentic Taxonomy)
요약
GitHub 오픈 소스 생태계를 위한 계층적 분류 체계 구축 프레임워크인 ATLAS를 제안합니다. LLM 기반의 Designer 및 Classifier Agent를 활용한 자기 수정 루프를 통해 기존의 평면적인 태그 방식보다 정교한 소프트웨어 분류를 수행합니다.
핵심 포인트
- LLM의 지식과 실제 저장소 분포를 결합한 계층적 분류 체계 구축
- Designer와 Classifier Agent를 활용한 자기 수정 정제 루프 적용
- 기존 베이스라인 대비 분류 품질(TQF)에서 15%p 높은 성능 달성
- 저장소 검색 및 대안적 발견 태스크에서 인간 큐레이션 능가
GitHub의 오픈 소스 생태계는 소프트웨어 저장소(repository)에 대한 체계적인 계층적 분류 체계(taxonomy)가 부족합니다. 지배적인 조직화 메커니즘인 GitHub Topics는 평면적(flat)이고 일관성이 없으며, 프로젝트의 67%만을 커버합니다. 우리는 소프트웨어 저장소를 위한 계층적 분류 체계를 자동으로 구축하고 프로젝트를 이를 통해 엔드투엔드(end-to-end)로 분류하는 최초의 프레임워크인 ATLAS를 제시합니다. ATLAS는 LLM의 글로벌 지식과 실제 저장소 분포를 결합하여 의미 있는 분할 차원(splitting dimensions)을 제안하며, 실제 프로젝트를 수용하지 못하는 차원을 반복적으로 수정합니다. Designer Agent는 분할 차원을 제안하고 Classifier Agent는 저장소를 할당하며, 자기 수정 정제 루프(self-corrective refinement loop)는 분류 실패를 활용하여 단계적 전략을 통해 차원 수정을 유도합니다. 우리는 4가지 패러다임, 2가지 다운스트림 태스크(downstream tasks), 3가지 모델 제품군을 아우르는 6개의 베이스라인을 대상으로 54,387개의 GitHub 저장소에서 ATLAS를 평가했습니다. 층화된 2,001개 저장소 벤치마크에서 ATLAS는 83.13%의 분류 체계 품질 F-점수(Taxonomy Quality F-score, TQF)를 달성하여 가장 우수한 베이스라인보다 15%포인트 높은 성능을 보였습니다 (전체 54k 코퍼스에서의 근사 TQF는 73.0%이며, 이 격차는 낮은 분류 정확도보다는 긴 경로에 대한 Path Granularity의 전부 아니면 전무(all-or-nothing) 방식의 점수 산정 방식에 기인합니다). 이는 높은 구조적 품질과 높은 실용적 적용 가능성을 동시에 달성하는 유일한 방법입니다. 다운스트림 태스크에서 ATLAS는 P@1 = 85.71%로 대안적 발견(alternative discovery)을 가능하게 하여 인간이 큐레이션한 목록(62.34%)조차 능가하며, 저장소 검색(repository retrieval)에서 가장 높은 P@1을 달성합니다. 또한 이 분류 체계는 평면적인 태그나 유사도 방식으로는 얻기 어려운 구조적 생태계 트렌드를 드러냅니다. 즉, 라이브러리에서 AI/ML 애플리케이션으로의 전환(현재 커뮤니티가 새로 채택한 프로젝트의 61%)은 계층적이고 유형 기반인 분류를 통해서만 가시화됩니다. 대화형 분류 체계 탐색기(interactive taxonomy explorer)는 https://atlas-taxonomy.netlify.app/ 에서 확인할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기