방금, AI Infra 운영을 위한 최초의 에이전트(Agent) 평가 벤치마크가 오픈소스로 공개되었습니다.

백억 개의 실제 운영 데이터 중 정교하게 선별한 10만 개를 바탕으로, 최종적으로 103개의 고품질 평가 케이스를 합성하였습니다.

기존의 평가 벤치마크와 달리, 이는 에이전트(Agent)의 실제 문제 조사 및 해결 능력을 시험하며, 장애 문제를 실제로 해결해야만 점수를 얻을 수 있습니다.

44가지 문제 현상과 22개의 세부 장애 분야를 포괄하며, 운영 시나리오에서 발생할 수 있는 거의 모든 상황을 포함하고 있습니다.

동시에 문제 범위는 Biren, MetaX, Moore Threads, Ascend 등 5종의 중국산 칩을 커버하여, 진정한 의미의 다양화된 평가 시나리오를 구현했습니다.

또한, GPU 클러스터 장애 시뮬레이터를 함께 오픈소스로 공개하여, 운영 환경을 파괴하지 않고도 소프트웨어 계층을 통해 다양한 하드웨어 장애 시나리오를 정밀하게 시뮬레이션할 수 있습니다.

GPU 카드 탈락(Drop), 비디오 메모리(VRAM) 오류, 네트워크 파티셔닝(Network Partitioning) 등 다양한 장애를 포함하며, 동시에 비즈니스와 결합하여 실제와 같은 테스트 환경을 구축할 수 있습니다.

현재 평가 프레임워크, 운영 데이터셋, 장애 시뮬레이터를 포함한 전체 평가 벤치마크 세트가 모두 오픈소스로 공개되었으니, 필요한 분들은 확인해 보시기 바랍니다.

• 오픈소스 주소: https://t.co/YRZqdf1hCE
• 부속 장애 시뮬레이터: https://t.co/CtFcC0qocR
• 운영 데이터셋: https://t.co/yjMgTMlOdc
• 평가 프레임워크: https://t.co/q3rv753LG9