Agents-A1: 35B MoE 에이전트, 1조 파라미터급 성능 달성

요약

Agents-A1은 35B MoE 모델임에도 불구하고 에이전트 호라이즌 확장을 통해 1조 파라미터급 성능을 구현했습니다. 45K 토큰 궤적과 멀티 티처 증류 기법을 사용하여 6개의 이질적인 도메인을 통합한 것이 특징입니다.

핵심 포인트

• 35B MoE 모델로 1조 파라미터급 성능 달성
• 에이전트 호라이즌 확장을 통한 성능 최적화
• 45K 토큰 궤적 기반의 멀티 티처 증류 기술 적용
• 6개의 서로 다른 도메인 통합 성공