지난 2개월 동안 저는 localmaxxing을 구축했습니다. 왜냐하면 수많은 추론 벤치마크 (inference benchmarks)가 여기저기 게시되는 것을 보았고, 제가 다양한 설정을 테스트하는 동안 그것들을 보관할 장소가 없었기 때문입니다. 현재 우리는 아마도 오늘날 온라인에서 이용 가능한 가장 많은 사용자 수와 실행 기록을 보유하고 있을 것입니다. 1860명의 사용자와 444개의 모델/양자화 (model/quants) 버전, 199개의 하드웨어에 걸쳐 3500회 이상의 실행 기록이 있습니다. 저는 현재 사람들이 사이트에 맞춤형 평가 (custom evals)를 구축하고 업로드할 수 있도록 평가 시스템 (eval system)을 구축하고 있으며, 모든 트레이스 (traces)와 통계 (stats)는 저장되어 사용자들에게 제공됩니다. 커뮤니티에 중고 하드웨어를 판매하기 위해 등록할 수 있는 기능적인 전통적 마켓플레이스가 있으며, 자신의 엔드포인트 (endpoints)를 다른 사용자들과 등록하고 공유할 수 있는 대여 서비스도 있습니다. (현재는 무료 등록이며, 곧 토큰/달러($) 기반의 과금 방식이 도입될 예정입니다.) 이 모든 것은 API 문서 (api docs) 또는 localmaxxing-cli를 통해 접근할 수 있습니다. localmaxxing은 에이전트 (agents) 사용을 염두에 두고 구축되었으므로, 에이전트 설정이 되어 있고 GitHub의 API 문서와 localmaxxing-cli를 가리키도록 설정되어 있다면 모든 것을 매우 쉽게 사용할 수 있습니다. 이것은 분명히 localmaxxing의 첫 번째 진화 단계이며 완벽하지는 않지만, 저는 이런 형태가 추론 벤치마크 (inference benchmarks)와 평가 (evals)를 위한 견고한 중앙 집중식 장소가 될 수 있을 것이라고 생각합니다. submitted by /u/LocalMaxxing [link] [comments]