API는 유효한 응답을 반환하고, 요청한 모델 이름을 사용하면서도 여전히 중요한 질문 하나를 해결하지 못한 채 남겨둘 수 있습니다:

해당 엔드포인트(endpoint)가 실제로 제공한다고 주장하는 모델처럼 동작하고 있는가?

단 하나의 답변으로는 이 문제를 해결할 수 없습니다. 스타일 추측은 신뢰할 수 없고, 벤치마크 프롬프트(benchmark prompts)는 과적합(overfit)되기 쉬우며, 제공업체는 예고 없이 모델을 업데이트할 수 있기 때문입니다. 유용한 테스트라면 비용이 저렴하고, 반복 가능하며, 불확실성에 대해 정직해야 합니다.

이것은 우리가 AllRouter Public Model Fingerprint Lab을 위해 사용하고 있는 워크플로우(workflow)입니다. AllRouter는 판사로 취급되지 않습니다. 이는 동일한 공개 테스트 하에 있는 하나의 엔드포인트일 뿐입니다.

아이디어: 산문(prose)이 아닌 분포(distribution)를 비교하라

One Token Is Enough 논문에 따르면, 모델들은 단순한 한 토큰(one-token) 질문에 반복적으로 답할 때 놀라울 정도로 안정적인 선호도를 보입니다.

무작위 숫자, 색상, 글자, 도시 또는 동전 던지기를 25번 요청해 보세요. 단 한 번의 답변은 거의 아무런 의미가 없습니다. 여러 답변에 걸친 분포(distribution)가 바로 행동 지문(behavioral fingerprint)입니다.

실질적인 감사는 다음과 같이 진행됩니다:

1. 8개 이상의 작업 언어 셀(task-language cells)을 선택합니다.
2. 고정된 온도(temperature)에서 각 셀을 반복적으로 샘플링(sample)합니다.
3. 한 단어로 된 답변들을 정규화(normalize)합니다.
4. 젠슨-샤논 발산(Jensen-Shannon divergence)을 사용하여 관찰된 분포를 신뢰할 수 있는 참조값과 비교합니다.
5. 강력한 결론을 내리기 전에 다른 날에 실행을 반복합니다.

해당 논문은 8개 셀을 사용할 경우 약 10.6%, 40개 셀을 사용할 경우 약 7.3%의 동일한 오류율을 보고합니다. 이는 완벽한 식별은 아니지만 유용한 증거가 됩니다.

이분법적 비난이 아닌 네 가지 판결

우리가 사용 중인 오픈 소스 구현체는 네 가지 상태를 보고합니다:

• match: 행동이 참조값과 통계적으로 일치함.
• uncertain: 결과가 회색 지대에 있음; 더 많은 샘플을 수집하거나 나중에 다시 시도할 것.
• mismatch: 행동이 실질적으로 다름; 왜 그런지 결론을 내리기 전에 조사할 것.
• insufficient: 비교 가능한 유효 샘플이 충분하지 않음.

불일치(mismatch)가 반드시 사기(fraud)를 증명하는 것은 아닙니다. 모델 업데이트, 양자화 (quantization), 숨겨진 시스템 프롬프트 (hidden system prompts), 추론 폴백 (reasoning fallbacks), 그리고 여러 백엔드 간의 부하 분산 (load-balancing) 등이 모두 지문 (fingerprint)을 변화시킬 수 있습니다.

그러한 한계점은 결과의 일부이지, 작은 글씨로 적힌 예외 조항이 아닙니다.

로컬에서 테스트 실행하기

MIT 라이선스가 적용된 llm-fingerprint-detector는 OpenAI 호환 엔드포인트를 위한 TypeScript CLI 및 라이브러리를 제공합니다.

API 키는 로컬 환경 변수에 보관하세요. 양식, 채팅, 이슈 또는 공개 로그에 붙여넣지 마십시오.

git clone https://github.com/ToseaAI/llm-fingerprint-detector.git
cd llm-fingerprint-detector
npm install
...

신뢰할 수 있는 참조 모델과 비교하여 검증하려면:

node dist/cli.js verify \
  --base-url https://your-endpoint.example.com/v1 \
  --model your-model-id \
...

모델 ID, 테스트 세트 버전, 타임스탬프, 온도 (temperature), 샘플 수, 비교 가능한 셀 (comparable cells), 평균 JSD (mean JSD), 반분 일관성 (split-half consistency), 경고 사항, 그리고 응답 요약의 해시 (hash)를 기록하십시오. 키나 비공개 프롬프트를 절대 공개하지 마십시오.

제공업체가 공개하기를 바라는 테스트

제공업체는 단순히 '통과(green badge)' 표시만을 공개해서는 안 됩니다. 유용한 공개 보고서에는 다음 내용이 포함되어야 합니다:

우리는 AllRouter에서 정해진 시간에 7일 동안 동일한 테스트를 실행할 것이며, 긍정적인 결론을 강요하지 않고 일치 (match), 불확실 (uncertain), 불일치 (mismatch), 또는 불충분 (insufficient) 결과를 공개할 것입니다.

이것이 일반적인 벤치마크보다 더 유용할 수 있는 이유

벤치마크는 모델이 '능력이 있는가'를 묻습니다. 라우팅 감사 (routing audit)는 엔드포인트가 당신이 선택한 모델 및 설정과 '일관성을 유지하는가'를 묻습니다.

이는 코딩 에이전트 (coding agents)에게 매우 중요합니다. 무언의 라우트 변경은 포맷팅 규율, 도구 사용 (tool-use) 동작, 지연 시간 (latency), 거부 경계 (refusal boundaries), 그리고 패치가 필요로 하는 검토 양을 변화시킬 수 있습니다. 응답이 구문론적으로 유효하더라도, 워크플로 비용이 달라질 수 있습니다.

따라서 정체성 테스트 (identity test)는 다음과 같은 소규모 작업 세트와 함께 구성되어야 합니다:

• 리팩터링 (refactor) 중 공개 API (public API) 유지;
• 누락된 설정 (configuration)을 명시적으로 처리;
• 엄격한 JSON 스키마 (JSON schema) 준수;
• 위험 분석 (risk analysis)과 편집 (edit)의 분리;
• 변경 사항 (diff)을 요청된 경계 (boundary) 내로 유지.

지문 (fingerprint)은 동작이 변경되었는지 여부를 알려줍니다. 작업 세트 (task suite)는 그 변경이 귀하의 워크플로 (workflow)에 중요한지를 알려줍니다.

AllRouter에서 동일한 실험 재실행

AllRouter에서 동일한 OpenAI 호환 워크플로 (OpenAI-compatible workflow)를 비교하고 싶다면, 아래의 캠페인 전용 엔트리 (entry)를 사용하세요:

AllRouter에서 동일한 테스트 실행하기

목표는 "이 라우터 (router)를 신뢰하라"가 아닙니다. 목표는 그 반대입니다: 신뢰가 유일하게 가용한 증거가 되지 않을 만큼 결과를 충분히 재현 가능하게 (reproducible) 만드는 것입니다.

다음 보고서에서는 지연 시간 (latency), 에러율 (error rate), 반분 일관성 (split-half consistency), 그리고 정확한 결정 임계값 (decision thresholds)을 포함한 7일간의 드리프트 (drift) 형식을 발표하겠습니다.