Tencent Hy3, 매우 낮은 파라미터 규모로 Frontier Model에 대한 급격한 격차 해소

요약

Tencent의 Hy3 모델은 MoE 아키텍처를 활용해 295B의 총 파라미터 중 21B만 활성화함으로써 효율성을 극대화했습니다. 이를 통해 낮은 파라미터 규모로도 Frontier Model에 근접하는 성능을 구현하며 로컬 배포의 가능성을 열었습니다.

핵심 포인트

• MoE 아키텍처를 통해 활성 파라미터를 21B로 압축
• 클라우드 의존성을 낮추고 로컬 하드웨어에서의 고성능 구현
• Cline을 통해 tencent/hy3:free 모델 직접 테스트 가능
• 추론 능력과 가성비를 동시에 잡은 오픈 소스 모델