https://preview.redd.it/qd7drw8mqfdh1.png?width=2223&format=png&auto=webp&s=4df7e6f4002cf6c6508463f40ebdb6a39c6d1805 https://preview.redd.it/86s7i9dpqfdh1.png?width=2411&format=png&auto=webp&s=3f69ccc368fe0212fb4392f14b0d60e38261e186 제가 생각한 아이디어는, 쉬운 작업을 위해 큰 모델의 컴퓨팅 자원을 사용하는 대신, 큰 모델의 지식을 작은 모델로 '증류(distill)'하는 것이 어떨까 하는 것입니다. 그리고 이 작업에 다시 직면하면, 이미 어떻게 행동할지 아는 작은 모델로 라우팅만 하면 됩니다. 단지 다른 컨텍스트가 필요할 뿐입니다. 예를 들어, "7시에 알람 설정"이라는 요청이 있습니다. 저희 시스템은 데이터베이스(db)에 이 패턴을 가지고 있지 않기 때문에 큰 모델을 호출하여 쿼리를 해결하고, 성공한 후에는 같은 모델에게 이를 바탕으로 패턴을 생성하도록 요청합니다. 두 번째로 동일한 요청인 "8시 30분에 알람 설정"이 들어왔을 때, 스킬(skill)을 읽고 단계별로 검증하며 (단순 작업에 약 7k 토큰 소모), 큰 모델에게 의존하는 대신, 이 쿼리를 패턴과 함께 작은 모델에 전달하면 됩니다. 그러면 그 모델이 작업을 실행하는데, 이는 ~1k 토큰이며 스킬이나 다른 것이 필요 없습니다. 마치 인간의 두뇌가 추론(reasoning) 또는 반사적 행동으로 위임할 때 작동하는 것과 같습니다. 저는 이것이 라우팅(routing)과 비슷하다는 것을 알지만, 모든 것을 더 작고, 더 결정론적(deterministic)으로 만들기 위해 추가 단계를 추가합니다. 이는 속도와 더 많은 검증을 제공합니다. 저는 이를 A.L.F.R.E.D., Adaptive Local-First Routing and Execution Distillation이라고 부릅니다. 여기 모든 벤치마크, 논문 등이 있습니다: https://github.com/LeonardoDaviti/alfred /u/FeiX7이 제출했습니다 [link] [comments]