모두가 다음 대규모 모델에 열광하고 있습니다

• gpt-6, 차세대 조 단위 파라미터 (trillion-param) 모델, 무엇이 오든 간에

기본적으로 스케일링 (scaling) 시대를 시작한 인물이 그것이 끝나가고 있다고 말했습니다 →

Ilya Sutskever의 주장을 한 줄로 요약하면:
→ 사전 학습 (pre-training)이 스케일링 된 이유는 연산량 (compute)과 데이터 (data)가 모두 계속 성장했기 때문입니다
→ 하지만 연산량은 계속 성장하는 반면 데이터는 그렇지 않습니다 - "인터넷은 단 하나뿐입니다"
→ 그는 데이터를 AI의 화석 연료 (fossil fuel)라고 부르며, 쉬운 데이터들은 고갈되고 있다고 말합니다

따라서 다음 도약은 더 큰 모델에서 오는 것이 아닙니다
그 모델을 중심으로 무엇을 구축하느냐에서 옵니다 - 추론 (reasoning), 에이전트 (agents), 도구 (tools), 실세계 데이터 (real-world data), 그리고 이미 가지고 있는 모델에서 더 많은 것을 짜내는 것 말입니다

그것이 바로 좋은 루프 (loop)로 감싸진 0달러짜리 오픈 모델 (open model)이 이미 당신이 비용을 지불하는 프론티어 모델 (frontier model)을 이기는 정확한 이유입니다
해자 (moat)는 결코 규모가 아니었습니다 - 그것은 시스템입니다

gpt-6를 기다리는 것을 멈추세요 - 경쟁 우위는 이미 여기에 있는 것을 어떻게 사용하는지에 있습니다

저장하기