4080 Super에서 진행한 Gemma 4 12B의 첫 코딩 에이전트 테스트

도구 (tools)를 얼마나 잘 다루는지 확인하기 위해 새로운 Gemma 4 12B를 Pi Agent 확장이 설치된 VSCodium에 바로 적용해 보았는데, 단 한 번의 시도로 테스트를 완벽하게 통과했습니다. 로그를 한 줄씩 읽고, 에러 모듈을 추출하여, 그 개수를 JSON 파일로 덤프(dump)하는 Python 스크립트를 작성하라는 프롬프트 (prompt)를 주었습니다. 또한 직접 가짜(mock) 로그 데이터를 만들고 실시간 터미널 테스트를 실행하여 결과를 검증하도록 지시했습니다. 단순히 제가 복사해서 붙여넣을 수 있는 코드 블록을 내뱉는 대신, 에이전트 (agent)가 실제로 작업을 수행했습니다. 스크립트를 생성하고, 무작위 로그가 섞인 더미 app.log 파일을 채운 뒤, 터미널 셸 (terminal shell)을 열어 코드를 실행하고 버그나 경로 오류 없이 출력을 검증했습니다.

모델 (Model): Gemma 4 12B (Unsloth UD-Q4_K_XL)
컨텍스트 (Context): 32K ( --ctx-size 32768 )
KV 캐시 (KV Cache): 8-bit ( --cache-type-k q8_0 --cache-type-v q8_0 )
레이어 (Layers): -1 (GPU로 전체 오프로드 (Full offload))
샘플러 (Samplers): Flash Attention ON, --temp 1.0 , --top-p 0.95 , --top-k 64 , --min-p 0.05 , --repeat-penalty 1.15

lama.cpp + cuda /u/Wrong_Mushroom_7350 님이 r/LocalLLaMA에 게시함 [link] [comments]