2026년 8월 2일 EU AI Act(유럽 AI 법)의 고위험(high-risk) 의무가 적용됨에 따라, 고위험 시스템의 제공자는 정확도 수치와 관련하여 두 가지 번거로운 일을 수행해야 합니다. 바로 **수치를 선언(declare)**하는 것(제15조)과 **검증이 가능하도록 기록을 유지(keep records)**하는 것(제12조, 부속서 IV의 기술 문서 포함)입니다. 법안은 의무 사항을 알려주지만, 어떤 산출물(artifact)이 그 의무를 충족하는지는 알려주지 않습니다.

그래서 팀들은 이미 익숙한 산출물인 **모델 카드(model card)**나 내부 평가 보고서(internal evaluation report)를 찾게 됩니다. 문서화가 필요하다는 그 직관은 맞습니다. 하지만 그 문서가 무엇을 증명해야 하는지에 대해서는 틀렸습니다.

이 글은 검토자가 가장 접할 가능성이 높은 두 가지 산출물을 짧고 실용적으로 비교하며, 이 둘을 구분 짓는 단 하나의 속성을 다룹니다.

이것은 엔지니어링 패턴이며 법적 조언이 아닙니다. 조항 및 부속서(Annex) 참조는 Regulation (EU) 2024/1689를 기준으로 합니다. 범위와 충분성에 대해서는 자격을 갖춘 법률 고문 및 인증 기관(notified body)과 확인하십시오.

법안이 실제로 요구하는 것

프레임을 걷어내고 보면, 제15조는 적절하고 결정적으로 검증 가능한(verifiable) 명시된 정확도 수준을 요구합니다. 제12조는 시스템의 수명 주기 전반에 걸친 작동을 기록하는 로그(logs)를 요구합니다. 부속서 IV 섹션 2는 평가 방법론(evaluation methodology)을 문서화할 것을 요구합니다.

이 세 가지 모두에 내포된 반복되는 단어는 바로 _검증 가능한(verifiable)_입니다.

모델 카드(Model card)가 하지 못하는 일은 그 수치들이 언제 결정되었는지를 확립하는 것입니다. 정확도 수치, 임계값(threshold), 평가 슬라이스(evaluation slice), 랜덤 시드(random seed) 등은 모델 카드에서 실험이 끝난 후 수정 가능한 산문 형태로 보고됩니다. 해당 결과물(artifact) 내의 그 어떤 것도, 실행 전(before the run)에 확정된 수치와 여러 번의 실행을 거친 후 가장 좋아 보이는 것을 선택한 수치를 구분해 주지 않습니다. 모델 카드는 **'나를 믿으라(trust-me)'**는 식의 문서입니다. 사후에 편집될 수 있으며, 편집하더라도 문서 자체에는 아무런 변화가 없습니다.

이는 이를 작성하는 사람들을 비난하는 것이 아닙니다. 이는 구조적인 특성입니다. 결과가 나온 뒤에 작성된 문서는, 그 자체만으로는 결과가 나오기 전에 무엇을 약속했었는지를 증명할 수 없습니다.

검토자가 결국 질문하게 될 속성

문서화를 증거(evidence)로 바꾸는 질문은 바로 이것이며, 감사관(auditor)이나 신중한 고객이 결국 던지게 될 질문이기도 합니다:

"이 정확도 임계값(accuracy threshold)은 결과를 확인한 시점과 비교했을 때, 언제 설정되었습니까?"

만약 정직한 답변이 "그것을 증명할 수 없습니다"라면, 그 수치는 법(the Act)의 관점에서 볼 때 검증(verify)하기 어렵습니다. 그것은 인용구가 포함된 주장(assertion)일 뿐, 증거가 아닙니다.

이 간극을 메우기 위해서는 모델 카드에는 없는 한 가지 속성이 필요합니다: 바로 **변조 방지 기능이 있는 사전 확약(pre-commitment that is tamper-evident)**입니다. 즉, 해당 주장이 실험이 실행되기 전 정확한 형태로 존재했음을 보여주고, 그 이후에 몰래 수정되지 않았음을 보여줄 수 있는 방법입니다.

사전 등록(Pre-registration)의 역할

사전 등록(Pre-registration)은 무엇을 측정할 것인지, 그리고 어떤 기준(bar)을 적용할 것인지를 측정하기 _전(before)_에 미리 기록해 두는 규율입니다. 이는 임상 시험(clinical trials)과 경험 과학(empirical science)의 일부 분야에서 표준으로 자리 잡고 있는데, 바로 위에서 언급한 이유 때문입니다. 즉, 데이터를 확인한 후 주장을 재구성할 여지를 없애줍니다.

**사전 등록된 ML 매니페스트 (Pre-registered ML manifest, PRML)**는 이를 평가 주장 (evaluation claim)에 적용합니다. 귀하는 주장을 8개의 필드(지표 (metric), 비교 대상 (comparator), 임계값 (threshold), 데이터셋 해시 (dataset hash), 시드 (seed), 생성자 (producer) 등)로 작성하고, 실행 전에 정형 바이트 (canonical bytes)에 대해 계산된 SHA-256 다이제스트 (digest)에 이를 결합합니다. 매니페스트, 데이터셋, 모델을 보유한 검증자 (verifier)는 다이제스트를 재계산하고, 주장을 실행하며, 결정론적인 판정(deterministic verdict)인 PASS, FAIL 또는 TAMPERED를 반환합니다. 사후에 주장을 수정하면 바이트가 변경되고, 이는 해시를 변경하며, 검증자가 이를 감지합니다. 사양 (spec)은 공개되어 있으며 (CC BY 4.0), 참조 구현 (reference implementations)은 MIT 라이선스입니다.

이것은 모델 카드 (model card)를 대체하는 것이 아닙니다. 이것은 모델 카드 아래에 있는 증거 계층 (evidence layer)입니다. 모델 카드가 "정확도는 0.91입니다"라고 말한다면, 매니페스트는 "그리고 여기 우리가 실행하기 전에 약속했던 기준이 0.90이었으며, 아무도 이를 변경하지 않았다는 암호학적 증거 (cryptographic proof)가 있습니다"라고 말합니다. 하나는 사람이 읽을 수 있는 요약이며, 다른 하나는 검토자 (reviewer)가 독립적으로 재도출 (re-derive)할 수 있는 부분입니다.

한 줄 비교

이것이 제공하는 것과 제공하지 않는 것

사전 등록된 매니페스트가 모델을 정확하거나, 안전하거나, 규정을 준수하게 만드는 것은 아닙니다. 이것은 귀하가 보고하는 정확도 수치라는 하나의 특정 주장 (claim)을 신뢰하는 것이 아니라 검증 가능한 (checkable) 상태로 만듭니다. 그것은 좁은 범위의 기능입니다. 또한 이는 대부분의 팀이 제15조 (Article 15) 관련 논의를 위해 가져올 문서에서 정확히 결여되어 있는 부분이기도 합니다.

모델 카드를 계속 사용한다면, 계속 사용하십시오. 누군가 질문하기 전에 "임계값이 언제 설정되었는가"라는 질문에 답할 수 있는 계층을 추가하십시오.

PRML (Pre-Registered ML Manifest)은 4개의 바이트 동등 (byte-equivalent) 참조 구현과 공개된 적합성 테스트 세트 (conformance suite)를 갖춘 공개 사양입니다. 사양: spec.falsify.dev/v0.1. 조항별 매핑: falsify.dev/compliance.