저는 AI 개발에 완전히 중점을 둔 PHP 플랫폼을 구축하고 있으며, 여기에 에이전트(Agent)가 통합되어 있습니다. 메인 모델(GLM 5.2)이 처리하는 토큰 양을 줄이기 위해 검색 및 파일 편집을 도와줄 서브모델(submodel)을 갖고 싶었습니다. 저는 AI에게 8GB VRAM에서 구동할 수 있는 최적의 서브모델을 결정하기 위한 벤치마크를 만들도록 요청했습니다.

시스템 프롬프트: 당신은 PHP CMS 프로젝트 내부의 읽기 전용 연구 서브 에이전트입니다. 읽기 전용 도구(read_file, list_dir, search_files)를 사용하여 코드베이스를 탐색하며 질문에 답하십시오. 아무것도 수정하지 마십시오. 충분한 정보를 얻으면 도구 호출을 중단하고 관련 파일 경로, 시그니처, 짧은 스니펫이 포함된 간결하고 사실적인 요약으로 답변하십시오. 답변할 수 없다면 명확하게 그렇게 말하십시오.

사용자 메시지 — 기본 벤치마크 작업: 이 PHP CMS의 Queue 서브시스템을 탐색하십시오: QueueInterface, SqlQueue 드라이버, QueueExtension, QueueRuntime, Queue 모듈의 CLI 명령어, 그리고 큐 테스트를 찾으십시오. 정확한 파일 경로, 핵심 메서드 시그니처, 그리고 작업이 enqueue부터 핸들러까지 어떻게 흐르는지 보고하십시오. 허용되는 세 가지 도구(읽기 전용; 재귀 방지를 위해 서브 루프에서 연구는 제외됨): read_file — "작업 공간의 파일 전체 내용을 읽습니다. 경로는 작업 공간 루트를 기준으로 합니다." (매개변수: path) list_dir — "작업 공간 디렉터리의 항목을 나열합니다(비재귀적). 디렉터리는 뒤에 슬래시(/)가 붙어 표시됩니다. 작업 공간 루트를 사용하려면 '.'을 사용하십시오." (매개변수: path, 기본값 root) search_files — "PHP 정규 표현식(구분자 없음)으로 작업 공간 파일 내용을 검색합니다. '경로:줄: 텍스트' 형식으로 일치하는 라인을 반환하며, 최대 200개까지 제한됩니다. vendor/.git/node_modules/storage는 건너뜁니다." (매개변수: pattern [필수], path) 단계는 도구 호출을 실행할 수 있는 횟수를 제한합니다.

자, 이제 결과를 보여드리겠습니다: Run 1 (--steps=6) 명령어: php bin/console agent:bench --models=gemma-4-12b-it,gemma-4-e4b-it,qwen3.5-9b,ornith-1.0-35b,qwen3.6-35b-a3b@q5_k_xl,gemma-4-26b-a4b-it-qat --steps=6 MODEL STEPS SEC TOK (in/out) SCORE JUSTIFICATION
ornith-1.0-35b 7 209.15s 36622/2243 10.0 모든 요청을 포괄하는 완벽하고 종합적인 요약… gemma-4-26b-a4b-it-qat 7 116.52s 18551/2407 9.0 모든 것을 포함하는 우수하고 종합적인 요약 … qwen3.6-35b-a3b@q5_k_xl 7 201.31s 28559/2608 9.0 정확한 경로가 포함된 포괄적이고 정확한 요약… gemma-4-e4b-it 5 32.34s 9348/1788 8.5 구성 요소와 흐름에 대한 좋은 개요지만, 잘못 … gemma-4-12b-it 7 54.5s 15633/1481 7.8 좋은 개요와 흐름이지만, 정확한 경로를 놓쳤… qwen3.5-9b 2 21.22s 1441/215 0.0 하위 에이전트의 요약이 완전히 비어 있음, 제공…

component… qwen3.6-35b-a3b@q5_k_xl 10 258.12s 56174/3244 8.5 경로가 포함된 포괄적이고 잘 구조화됨, 신호… gemma-4-e4b-it 7 45.78s 14150/2930 8.0 요청한 대로 큐 테스트를 누락함 b… gemma-4-12b-it 10 58.12s 28796/1569 7.5 견고한 작업 흐름과 핵심 구성 요소 경로이지만, 실패… qwen3.5-9b 2 20.46s 1441/200 0.0 하위 에이전트가 요청했음에도 불구하고 아무 결과도 반환하지 않음… 최종 실행 요약 (Final Runoff) 최적의 하위 모델 명령어: php bin/console agent:bench --models=ornith-1.0-35b,gemma-4-26b-a4b-it-qat --steps=9 모델 단계 초(SEC) 토큰 수 (in/out) 점수 근거 ornith-1.0-35b 7 207.66s 52659/2190 9.8 요청된 모든 구성 요소를 광범위하게 매핑함 exa… gemma-4-26b-a4b-it-qat 10 116.52s 38142/2215 9.2 요청된 모든 구성 요소에 대한 우수한 커버리지, p… GLM 5.2는 속도와 결과를 비교했을 때 최적의 하위 모델이 gemma-4-26b-a4b-it-qat임을 지적함. 모든 MoE(Mixture of Experts) 모델들이 밀집형 모델보다 훨씬 좋다는 점에 놀라움. Gemma 12b가 좋은 성능을 보여줄 것으로 예상했음; 아마도 양자화 문제일 수 있음. 제출자 /u/soteko [링크] [댓글]