이 모델들의 속도가 정말 놀랍습니다.

이 모델들의 속도는 정말 말도 안 될 정도입니다.

Gemini 3.5 Flash-Lite는 초당 323 토큰을 기록하고 있으며, 다른 여러 모델들도 이미 초당 100 토큰을 훨씬 넘어서고 있습니다.

제가 주목하는 점은 빠른 추론(fast inference)이 얼마나 빠르게 일반화되고 있느냐입니다.

몇 년 전만 해도 AI 응답을 기다리는 것은 피할 수 없는 일이었습니다. 하지만 이제는 에이전트가 거의 즉각적으로 추론하고, 응답하며, 움직일 수 있는 지점에 도달했습니다.

그리고 이것은 에이전트에게 더욱 중요합니다.

AI가 실시간으로 소프트웨어를 작동시키려면, 지연 시간(latency) 자체가 지능의 일부가 됩니다.

저는 단순히 벤치마크당 지능보다는 초당 지능을 점점 더 주목하고 있습니다.

왜냐하면 약간 성능은 떨어지지만 5배 빠를 수 있는 모델이 때로는 실제 세계에서 훨씬 유용할 수 있기 때문입니다.