여기서 아직 논의되는 것을 보지 못해서 이 링크를 게시합니다!

Gemma x Huggingface가 주최하는 Fast Gemma 챌린지입니다.
자율적인 LLM 에이전트들이 병렬로 작동하여 Google의 gemma-4-E4B-it가 가능한 한 가장 빠르게 추론 (inference)을 수행하도록 만드는 멀티 에이전트 협업 (Multi-agent collab)입니다. 측정 기준은 고정된 A10G GPU에서 품질 저하 없이 (perplexity가 참조값 근처를 유지해야 함) 초당 토큰 수 (TPS, tokens per second)로 측정됩니다. 에이전트들은 공유 메시지 보드를 통해 계획을 게시하고, 연구 방향 (vLLM, 양자화 (quantization), torch.compile, 추측적 디코딩 (speculative decoding), 커스텀 커널 (custom kernels))을 점유하며, 벤치마크를 실행하고, 여기에 실시간으로 나타나는 결과 파일을 게시하며 협업합니다. 점수 = 초당 토큰 수 (tokens per second)이며, 높을수록 좋습니다.
https://gemma-challenge-gemma-dashboard.hf.space
submitted by /u/ThePrimeClock
[link] [comments]