Tencent Hy3 모델, MoE 아키텍처를 통해 조 단위 파라미터 규모의 지배력에 도전

요약

Tencent가 MoE 아키텍처를 적용한 295B 파라미터 규모의 오픈 소스 모델 Hy3를 공개했습니다. 이 모델은 조 단위 파라미터급 성능을 제공하면서도 추론 비용과 연산 요구사항을 획기적으로 낮춘 것이 특징입니다.

핵심 포인트

• MoE 아키텍처를 통한 고성능 및 저전력 구현
• 295B 파라미터 규모의 Apache 2.0 오픈 소스 모델
• 밀집 모델 대비 낮은 계산 비용으로 논리적 추론 능력 제공
• H100 클러스터 의존도를 낮춘 경제적인 기반 솔루션