Ling-2.6-1T Will Be Open Weights

요약

Anthropic이 개발한 초대규모 언어 모델인 Ling-2.6-1T가 오픈 가중치 (Open Weights) 로 공개될 것이 확인되었습니다. 이전 Ling 2 모델의 성공적인 전략을 이어받아, 총 파라미터 수는 1 조 개에 달하지만 실제 학습된 활성 파라미터는 500 억 개로 제한하여 효율성을 극대화했습니다. 이번에는 이를 한 단계 더 발전시킨 플래시 (Flash) 모델도 공개되며, 이 모델은 총 1040 억 개의 파라미터를 가지면서도 핵심적인 70 억 개만 활성화시켜 추론 비용을 획기적으로 낮추고 성능을 유지합니다. 이는 초대규모 모델의 접근성을 높이고, 연구자와 개발자들이 고품질의 오픈소스 모델을 활용할 수 있는 중요한 이정표가 될 것입니다.

핵심 포인트

• Anthropic의 Ling-2.6-1T 모델이 총 1 조 개 파라미터 대비 500 억 개 활성 파라미터 구조로 오픈 가중치가 공개됩니다.
• 새롭게 공개되는 플래시 (Flash) 모델은 총 1040 억 파라미터 중 핵심 70 억 개만 활성화하여 효율성을 극대화합니다.
• 이러한 하이브리드 아키텍처는 초대규모 모델의 정확도를 유지하면서도 추론 비용을 대폭 절감하는 데 기여할 것입니다.