EvalScope를 사용하여 2,859개의 LLM 코드 생성 테스트를 수행하고 오류 0개를 달성한 방법

DGX Spark에서 Qwen2.5-32B를 3주 동안 실행한 후, 저를 가장 놀라게 한 숫자는 처리량(throughput)이나 지연 시간(latency)이 아니었습니다. 그것은 바로 '0'이었습니다.

2,859개의 코드 생성 테스트 전반에 걸쳐 구조적 오류가 단 하나도 없었습니다.

테스트 내용

다음 항목을 포함하는 코드 생성 작업을 대상으로 EvalScope를 사용했습니다:

• 구조화된 JSON 출력 (Structured JSON output)
• 함수 호출 (Function calling, OpenAI 도구 형식)
• 다단계 도구 사용 체인 (Multi-step tool use chains)
• 특정 출력 형식을 포함한 코드 완성 (Code completion)

각 테스트 실행은 다음 네 가지를 검증합니다:

1. 유효한 JSON 구조 — 닫히지 않은 대괄호나 깨진 구문 없음
2. 정확한 함수 호출 스키마 (Function call schema) — 올바른 매개변수와 올바른 타입
3. 잘린 출력 없음 (No truncated output) — 응답이 토큰 예산 내에서 완전히 완료됨
4. 타임아웃 내 응답 — 생성 중 멈춤 현상 없음

총 7번의 테스트 세션을 진행했으며, 각 세션당 약 400개의 프롬프트(prompt)를 사용했습니다. 단 하나도 빠짐없이 모두 통과했습니다.

설정 (The Setup)

모델: Qwen2.5-32B-Instruct-AWQ (4-bit)
엔진: continuous batching 기능이 포함된 vLLM 0.21
온도 (Temperature): 0 (결정론적 모드)
하드웨어: DGX Spark, 128GB 통합 메모리, ARM64

python -m vllm.entrypoints.openai.api_server \
--model Qwen2.5-32B-Instruct-AWQ \
--max-model-len 65536 \
--gpu-memory-utilization 0.9 \
--enforce-eager \
--enable-auto-tool-choice \
--tool-call-parser hermes

오류 0개가 놀라웠던 이유

저는 클라우드 API를 광범위하게 사용해 왔습니다. 가장 우수한 API조차 부하가 걸리면 가끔 잘린 JSON을 반환하거나, 매개변수가 누락된 함수 호출을 반환하곤 합니다. 이는 드문 일이며(오류율 0.1~0.3%), 하지만 40개 이상의 연속적인 도구 호출을 수행하는 자율 에이전트(autonomous agents)를 실행할 때는 단 한 번의 실패가 연쇄적인 장애(cascade)를 일으킵니다.

호출당 오류율이 0.3%일 때, 50단계의 에이전트 루프는 최소 한 번의 실패를 겪을 확률이 약 14%에 달합니다. 에이전트가 아홉 번은 완벽하게 작동하다가, 열 번째 실행에서 미스터리하게 멈춰버리는 것입니다.

2,859회의 시도에서 오류가 0개였으므로, 오류율에 대한 95% 신뢰 상한선(confidence upper bound)은 0.13%입니다. 이는 50단계의 루프가 깨끗하게 완료될 확률이 93.8% 이상임을 의미합니다.

비교

또한 클라우드 API를 대상으로 1,280개의 동일한 프롬프트를 실행해 보았습니다:

백엔드 (Backend)	지연 시간 (Latency, 중앙값)	구조적 오류 (Structural Errors)
DeepSeek V3	2.6s	0
...

클라우드가 속도 면에서 승리했습니다. 하지만 로컬 설정은 신뢰성 측면에서 클라우드와 대등했으며, 599달러짜리 Mac Mini에서 실행된 14B 모델은 품질 면에서도 충분히 경쟁력을 보여주었습니다.

재현하기

전체 방법론, 테스트 데이터셋 및 원본 결과는 GitHub에서 확인할 수 있습니다:

https://github.com/YIQI-NUMBER1/stormengine

로컬 설정이 준비되어 있다면, 저장소(repo)를 가져와 벤치마크를 실행해 보세요. 제가 놓친 오류를 발견한다면 이슈(issue)를 생성해 주세요. 무엇이 이 시스템을 망가뜨리는지 진심으로 알고 싶습니다.