Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Verdict는 CLI 도구 호출의 의미론적 결과를 분류하는 로컬 의미론적 결과 분류기입니다. 이 도구는 단순한 프로세스 종료 코드에 의존하기보다 명령, stdout, stderr 등의 증거를 읽어 성공/실패 여부를 예측합니다. 이는 코딩 에이전트와 CI 러너 시스템을 위한 연구 미리보기로 활용됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Coding Assistants의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Verdict는 코딩 에이전트(coding agents), CI 러너(CI runners), 그리고 도구 사용 시스템을 위한 의미론적 결과 계층(semantic outcome layer)의 연구 미리보기입니다. 이는 프로세스 종료 코드 너머를 보고 명령, stdout, stderr를 읽습니다. 추론(Inference)은 Python 종속성이 전혀 없는 CPU에서 로컬로 실행됩니다.
중요: Verdict는 조언적 분류기(advisory classifier)이며, 작업 또는 환경 변형이 완료되었음을 증명하는 것은 아닙니다. 결정론적 검사(deterministic checks)와 권위 있는 상태 검증(authoritative state verification)을 진실의 원천으로 유지하십시오.
프로세스는 테스트를 전혀 실행하지 않으면서 성공적으로 종료되거나, HTTP 500을 반환하거나, 워커를 기다리거나, 불완전한 출력을 생성할 수 있습니다. 반대로, 비영점 종료 코드(non-zero exit)는 실패한 단언(failed assertion)이라기보다는 환경 차단기(environment blocker)를 설명할 수 있습니다. 에이전트가 재시도하거나, 중지하거나, 완료를 주장하기 전에 이러한 구분이 필요합니다.
훈련에 전혀 사용되지 않은 48개의 CLI(Command Line Interface) 계열에서 가져온 192개의 합성 예제로 평가되었습니다. 훈련에는 60개의 다른 계열에서 나온 1,440개의 합성 예제가 사용되었습니다.
| 모델 | 정확도 (Accuracy) | 매크로-F1 (Macro-F1) | 크기 (Size) | 중앙값 추론 시간 (Median inference) |
|---|---|---|---|---|
| Verdict 0.1 (int8) | 93.2% | 93.2% | 197 KB | 0.54 ms |
| Exit-code baseline | 47.9% | 31.9% | — | — |
지연 시간(Latency)은 피처 추출 및 Python API 호출을 포함하여 Windows 11 / AMD64 / Python 3.12에서 수행된 576개 예측의 중앙값입니다. 이는 크로스 하드웨어 보장이 아닌 재현성 측정치입니다. bench/results.json를 참조하고 python training/train.py로 재현하십시오.
코퍼스는 합성(synthetic)이며 영어 편향적입니다. 이 벤치마크는 프로덕션 에이전트 트레이스에서의 신뢰성이 아닌, 보류된(held-out) 템플릿 전반의 일반화 성능을 측정합니다. 실제 트레이스 검증이 다음 목표 지점입니다.
<div align="center"> <img src="https://raw.githubusercontent.com/Balanov/verdict/HEAD/docs/readme/model.png" alt="Verdict inference path, four output labels, and macro-F1 comparison: 93.2 percent versus 31.9 percent for the exit-code baseline on synthetic held-out data" width="100%"> <p><sub>메커니즘, 출력 계약 및 측정 컨텍스트. <a href="bench/results.json">원시 벤치마크 데이터</a> · <a href="#reproduce">모델 재현하기</a>.</sub></p> </div>git clone https://github.com/Balanov/verdict.git
cd verdict
python -m pip install .
from verdict_tiny import Verdict
model = Verdict()
...
{
"label": "unknown",
"confidence": 0.999981,
...
printf 'collected 0 items\nno tests ran\n' | verdict \
--command 'pytest tests/' --exit-code 0
필요에 따라 --stdout output.log, --stderr error.log, 그리고 --weights /path/to/verdict-q8.bin을 사용합니다.
프로젝트 페이지에서는 동일한 양자화된 가중치(quantized weights)를 브라우저에서 실행합니다. 로그는 업로드되지 않습니다.
| Label | 의미 |
|---|---|
success | 작업이 완료되었음을 나타내는 긍정적인 증거가 출력에 포함되어 있습니다. |
| ... | |
| 확률은 선형 다중 클래스 모델(linear multiclass model)에서 나오며, 안전 필수적인 관점에서의 보정된 신뢰도(calibrated confidence)가 아닙니다. 중대한 조치를 취할 때는 임계값 및 인간 또는 결정론적 검토를 사용하십시오. |
weights/verdict-q8.bin, Hugging Face에서도 이용 가능합니다.Verdict는 의도적으로 범위가 좁습니다. 관찰된 CLI 증거를 분류할 뿐이며, 작업 완료 여부, 코드의 정확성, 안전성 또는 진실성을 판단하지 않습니다.
python -m pip install -e '.[train,dev]'
python training/train.py
pytest -q
훈련 스크립트는 공개 코퍼스(public corpus)를 재생성하고, 처음부터 훈련하며, int8 가중치를 내보내고, 양자화된 아티팩트(quantized artifact)를 평가하며, 벤치마크 메트릭을 작성합니다.
assets/ 로고 및 편집 가능한 벡터 소스
bench/ 측정된 지표(metrics)
data/ 합성 학습용 데이터 및 분리 테스트용 데이터 JSONL (CC0)
...
코드 및 모델 가중치: Apache-2.0. 합성 데이터셋: CC0-1.0. 포크(Fork)하여 수정하고 배포하세요. LICENSE와 data/LICENSE를 참조하십시오.
@misc{balanov2026verdict,
title = {Verdict: Tiny Semantic Outcome Verification for AI Agents},
author = {Balanov, Anton},
...```