비안궈: 온라인 시스템 운영을 위한 유연한 기술 배치 아전트 프레임워크

대규모 온라인 엔진 시스템(검색, 추천, 광고 등)의 운영 및 유지보수 (O&M) 는 릴리스 모니터링, 경보 응답, 근본 원인 분석을 위해 상당한 인력 노력이 필요합니다. LLM 기반 아전트는 이러한 작업에 자연스럽게 적합하지만, 배포의 병목 현상은 추론 능력이 아니라 오케스트레이션입니다. 즉, 각 운영 이벤트마다 관련 데이터(메트릭, 로그, 변경 이벤트) 와 적용 가능한 운영 지식 (핸드북 규칙 및 실무자 경험) 을 선택하는 과정이 핵심입니다. 모든 신호를 무분별하게 입력하면 희석과 환각이 발생하며, 수십 개의 일일 릴리스 하에서 이벤트-(데이터, 지식) 매핑을 수동으로 큐레이션하는 것은 불가능에 가깝습니다. 우리는 Bian Que 를 소개합니다. 이 아전트 프레임워크는 세 가지 기여를 제공합니다: (i) 일상적인 O&M 을 세 가지 정형 패턴(릴리스 인터셉션, 선제적 점검, 경보 근본 원인 분석) 으로 추상화하는 extbf{통합 운영 패러다임}, (ii) 각 Skill 이 특정 비즈니스 모듈 컨텍스트에 대해 검색해야 할 데이터와 지식을 지정하며, LLM 에 의해 자동으로 생성 및 업데이트되거나, 온콜 엔지니어의 자연어 지시를 통해 반복적으로 정제될 수 있는 extbf{유연한 기술 배치}, (iii) 하나의 수정 신호가 사례 메모리에서 지식으로의 증류(distillation) 와 표적화된 Skill 정제라는 두 개의 병렬 경로를 구동하는 extbf{통합 자체 진화 메커니즘}입니다. 중국 주요 단비디오 플랫폼인 카이슈우(KuaiShou) 의 전자상거래 검색 엔진에 배포된 Bian Que 는 경보량을 75% 감소시키고, 근본 원인 분석 정확도를 80% 달성하며, 평균 해결 시간을 50% 이상 단축했습니다. 우리의 프레임워크는 오프라인 평가에서 99.0% 의 통과율을 달성했습니다. 코드는 https://github.com/benchen4395/BianQue_Assistant 에서 이용 가능합니다.