Evidence-as-Code: 검증 가능한 AI 거버넌스 구축하기

SGAEIA Research Series — Article 6

Aridio Silva · Independent Researcher, Brazil · ORCID

AI 거버넌스 주장(governance claim)은 그것을 뒷받침하는 증거만큼만 방어 가능합니다.

정책은 의도된 동작을 설명할 수 있습니다. 로그는 이벤트를 설명할 수 있습니다. 승인 기록은 누군가 버튼을 클릭했음을 보여줄 수 있습니다. 하지만 이들 중 어느 것도 단독으로 중요한 거버넌스 주장이 정당화되었음을 반드시 확립하지는 않습니다.

이 글은 SGAEIA 홈페이지와 Medium에 게재된 동일한 공개 연구 자료의 기술적 에디션이며, Zenodo에 아카이브되어 있습니다. 이 글은 기사의 논지(thesis), 증거(evidence), 한계점(limitations) 또는 공개 범위(public-disclosure boundary)를 변경하지 않으면서 개발자 및 아키텍트를 위해 논의를 재구성했습니다.

거버넌스 주장은 방어 가능한 근거가 필요함
Evidence-as-Code가 의미하는 바
업무가 위임될 때 책임성은 여전히 중요함
유용한 증거의 다섯 가지 특성
별도의 기록, 관찰, 결론
증거가 어떻게 오해를 불러일으킬 수 있는지
사람과 기밀 정보를 존중하기
평가를 수정에 열어두기
개발자 중심의 증거 패턴
공개 기여와 그 한계
결론
참고 문헌
연구 및 프로젝트 자료
라이선스 및 상태

거버넌스 주장은 방어 가능한 근거가 필요함

조직은 AI 시스템에 정책을 작성했거나, 책임을 할당했거나, 승인 프로세스를 도입했다는 이유로 자체적으로 거버넌스가 이루어진다고 말할 수 있습니다. 이는 의미 있는 약속입니다. 특정 주장이 유효한지 평가하려면 사용 가능한 증거가 실제로 무엇을 뒷받침하는지에 주의를 기울여야 합니다.

구매 준비를 돕는 가상의 AI 비서에 대해 생각해 봅시다. 해당 조직은 중요한 구매 건에는 적절한 인간의 감독(human oversight)이 이루어진다고 진술합니다. 구매가 발생했다는 기록만으로는 그 감독이 의미 있었음을 스스로 입증하지 못합니다. 승인(approval) 진술 역시 결정이 적절했는지, 검토자가 충분한 맥락을 가지고 있었는지, 또는 영향을 받은 사람들이 이의를 제기할 수 있었다는 것을 입증하지 못합니다.

이들은 같은 사건에 관한 것이라 할지라도 서로 다른 질문들입니다. 보장(Assurance)은 필연적으로 경계가 있습니다. 즉, 결론은 특정한 주장(claim), 식별된 맥락(context), 그리고 알려진 한계를 가진 정보에만 관련됩니다. 하나의 질문에 대한 긍정적인 결과가 전체 시스템이 신뢰할 만하다는 주장을 암묵적으로 확장해서는 안 됩니다.

Figure 1 — Claims and Evidence
그림 1 — 주장(Claims)과 증거(Evidence). 통제되는 행동에 대한 진술과 그 평가를 뒷받침하는 정보는 서로 다른 목적을 수행하며, 이 그림은 처리 순서를 규정하지 않습니다. © 2026 Aridio Silva | Project SGAEIA | CC BY 4.0.

Evidence-as-Code가 의미하는 바

여기서 Evidence-as-Code는 거버넌스 관련 정보가 반복적인 평가를 지원할 만큼 충분히 명확하게 표현되는 접근 방식을 의미하며, 적절한 경우 기계 보조 평가(machine-assisted assessment)도 포함합니다.

'코드(code)'라는 단어는 일관된 해석과 검토의 가능성을 강조합니다. 이것이 소프트웨어 출력을 증거와 동일시하거나 판단의 필요성을 제거한다는 의미는 아닙니다.

NIST OSCAL은 보안 통제 및 평가 정보를 기계가 읽을 수 있는 형태로 제공합니다[1]. 관련 연구에서는 OSCAL을 기계가 읽을 수 있는 AI 컴플라이언스 증거의 후보 형식으로 검토합니다[2]. 이들은 참고할 만한 기반 지식일 뿐이며, 자율형 AI에 관한 모든 질문이 자동화된 테스트로 축소될 수 있다는 증거나 SGAEIA가 검증되었다는 증거는 아닙니다.

여기서 공개하는 SGAEIA의 기여는 해석적인 주장입니다. 즉, 자율형 AI 거버넌스 논의에서 증거의 품질이 중심이 되어야 한다는 것입니다. 이는 연구적 입장일 뿐이며, 해당 용어가 새롭다는 주장도, 보편적인 증거 표준이 존재한다는 주장도, 특정 구현 방식이 입증되었다는 주장도 아닙니다.

기계가 읽을 수 있음 ≠ 자동으로 참임

업무를 위임할 때 책임성(Accountability)은 여전히 중요합니다

AI 지원 활동에는 여러 사람, 조직 또는 자동화된 서비스가 관련될 수 있습니다. 업무가 분산되면 책임을 이해하기 어려워질 수 있습니다. 하지만 이것이 책임성이 덜 필요하다는 의미는 아닙니다.

개발자나 검토자의 입장에서 다음 네 가지 질문은 유용한 점검 항목입니다:

책임성(Responsibility): 누가 활동과 그 결과에 대해 답변할 책임이 있는가?
정당화(Justification): 해당 활동에 대해 제기된 주장을 무엇이 뒷받침하는가?
결과(Consequences): 부정적인 영향을 포함하여 관찰된 영향은 무엇인가?
불확실성(Uncertainty): 현재 확립할 수 없는 것은 무엇인가?

이 질문들은 모든 시스템이 수집해야 할 사항을 명시한 것이 아니며, 에이전트 조정 모델도 아니고, 위임된 행동을 승인하기 위한 설계도 아닙니다. 이들의 가치는 실용적입니다. 즉, 여러 참여자가 존재한다는 사실 자체가 답변할 수 없는 결과에 대한 변명이 되어서는 안 됩니다.

Figure 2 — Questions for Accountable AI
그림 2 — 책임 있는 AI를 위한 질문들 (Questions for Accountable AI). 위임이 책임을 면제하지 않습니다. 이 질문들은 내부 관계나 메커니즘을 규정하지 않으면서 독자들이 설명(explanation)을 평가하는 데 도움을 줍니다. © 2026 Aridio Silva | Project SGAEIA | CC BY 4.0.

유용한 증거의 다섯 가지 자질 (Five qualities of useful evidence)

증거는 어떤 주장과 관련하여 유용합니다. 방대한 양의 정보가 주어지더라도 관련된 질문에 답하지 못할 수 있습니다. 신중하게 범위가 한정된 정보의 집합은 더 광범위한 보장을 뒷받침하지 않으면서도 적당한 결론을 지지할 수 있습니다.

이 글은 설명적 도움(explanatory aid)으로서 다섯 가지 상호보완적인 자질을 제안합니다:

관련성 (Relevance) — 정보가 검토 중인 질문에 다루어지고 있는가.
신뢰성 (Credibility) — 그 정보를 신뢰할 수 있는 방어 가능한 근거가 있는가.
맥락 (Context) — 설명의 상황과 조건이 이해할 만한가.
충분성 (Sufficiency) — 정보가 제시된 결론의 범위를 뒷받침하는가.
검토 가능성 (Reviewability) — 다른 자격을 갖춘 검토자가 평가의 근거와 한계를 비판적으로 검토할 수 있는가.

이것들은 표준화된 분류 체계(taxonomy), 검증된 척도(scale), 생명 주기(lifecycle) 또는 증거 품질에 대한 포괄적인 테스트는 아닙니다. 이들의 중요성은 주장과 잘못되었을 때의 결과에 따라 달라집니다. 평가가 매우 잘 문서화되어 있더라도 여전히 도전을 받을 만한 가정(assumptions)에 의존할 수 있습니다.

Figure 3 — Properties of Useful Evidence
그림 3 — 유용한 증거의 속성(Properties of Useful Evidence). 이 속성들은 증거 기반의 품질을 설명하며, 소프트웨어 구성 요소, 아키텍처 레이어 또는 운영 모델을 나타내지는 않습니다. © 2026 Aridio Silva | Project SGAEIA | CC BY 4.0.

기록(records), 관찰(observations), 결론(conclusions) 분리하기

운영 정보와 거버넌스 평가는 중첩되지만, 서로 다른 질문에 답합니다. OpenTelemetry는 시스템 활동을 나타내는 신호로서 트레이스(traces), 메트릭(metrics), 로그(logs)를 설명합니다[3]. 이러한 신호들은 유용한 정보의 원천이 될 수 있습니다. 하지만 그 존재만으로는 거버넌스 주장이 정당화되었음을 입증하지는 못합니다.

출처(Provenance)는 정보의 기원과 역사를 다룹니다. W3C PROV는 출처를 설명하고 신뢰성 평가를 지원하는 기반을 제공합니다[4]. 정보가 어디에서 왔는지 아는 것은 검토자가 그것에 대해 추론하도록 돕지만, 책임 소재, 적절성 또는 진실성에 대한 질문을 자동으로 해결해주지는 못합니다.

다음 세 가지 개념을 명확히 구분해야 합니다:

진정성(Authenticity): 기록이 주장된 출처에서 실제로 기인하는지 여부.
무결성(Integrity): 기록이 관련 측면에서 변경되지 않고 유지되었는지 여부.
진실성(Truthfulness): 그 설명이 발생한 일을 정확하게 나타내는지 여부.

진정하고 변조되지 않은 진술이라 할지라도 오해하거나, 불완전하거나, 오도할 수 있습니다. 신중한 평가는 관찰된 정보와 그것에 부여되는 해석을 분리하여 유지해야 합니다. 검토자는 무엇이 보고되었고(reported), 무엇이 교차 확인되었으며(corroborated), 무엇이 추론되었고(inferred), 그리고 무엇이 여전히 불확실한지 구별할 수 있어야 합니다.

증거가 오도할 수 있는 방법

가장 중대한 약점들 중 일부는 정보가 선택되거나 해석되는 방식에서 발생합니다. 정확한 기록들의 모음이라도 관련 사건을 누락할 수 있습니다. 유리한 요약은 의견 불일치를 가릴 수 있습니다. 겉보기에 포괄적인 설명조차도 좁은 범위의 상황만을 다룰 수 있습니다.

중요한 한계점들은 다음과 같습니다:

정보 누락 (Missing information): 이용 가능한 자료가 일관성 있게 보여도, 부재 자체가 결론을 막을 수 있습니다.
선별적 보고 (Selective reporting): 유리한 자료만을 제시하는 것은 근거 없는 자신감을 만들어낼 수 있습니다.
오인된 확신 (Misplaced confidence): 진위성이나 기술적 유효성이 진실됨으로 오해될 수 있습니다.
과도한 수집 (Excessive collection): 더 많은 정보를 찾으려는 시도는 새로운 개인 정보 및 보안 위험을 초래할 수 있습니다.

이러한 한계점들은 결론의 강도에 영향을 미쳐야 합니다. 공백 자체가 부적절한 행위를 자동으로 입증하지는 않지만, 모든 것이 적절했음을 확정적인 증거로 취급해서도 안 됩니다. 정직한 평가는 이용 가능한 정보가 불충분하다고 결론 내릴 수 있습니다.

Figure 4 — Limits of Assurance
그림 4 — 확신의 한계 (Limits of Assurance). 증거 기반 평가는 불확실성과 잠재적 피해를 인정해야 하며, 이 그림은 라이프사이클, 위협-통제 지도 또는 구현 가이드가 아닙니다. © 2026 Aridio Silva | Project SGAEIA | CC BY 4.0.

사람과 기밀 정보 존중하기 (Respect people and confidential information)

책무성(Accountability)이 무차별적인 수집을 요구하는 것은 아닙니다. 더 많은 정보를 기록하는 것이 평가 대상 질문에 대한 답변을 개선하지 못하면서 개인 데이터, 기밀 통신 또는 지적 재산을 노출시킬 수 있습니다.

목표는 비례적인 검토의 기반을 마련하는 것입니다. 조직은 정보가 왜 필요한지, 그 사용으로 인해 누구의 이해관계가 영향을 받을 수 있는지, 그리고 해당 계정이 제공하는 한계는 무엇인지 설명할 수 있어야 합니다. 하나의 목적으로 수집된 증거가 관련 없는 감시의 정당화 근거가 되어버려서는 안 됩니다.

투명성은 민감한 정보를 보호하는 것과 양립 가능합니다. 공개적인 설명은 모든 내부 세부 사항을 노출하지 않으면서 질문, 결론의 근거, 그리고 그 한계를 기술할 수 있습니다. 적절한 공시는 책임성(accountability)과 노출의 결과에 대한 판단을 요구합니다.

더 많은 증거 ≠ 더 나은 보증

평가를 수정에 열어두기

AI 시스템과 그 맥락은 변화합니다. 이전에 수행된 평가는 역사적으로 유용할 수 있지만, 이후 상황에 대한 동일한 결론을 뒷받침하지 못할 수도 있습니다. 따라서 신뢰도는 그것이 얻어진 상황과 연결되어야 합니다.

NIST AI Risk Management Framework는 신뢰성(trustworthiness)을 고려하고 AI 위험을 관리하기 위한 자발적인 기반을 제공합니다[5]. NIST SP 800-53A는 보안 및 개인정보 보호 통제(security and privacy controls)를 평가하는 보완적인 기반을 제공합니다[6]. 이러한 출처들은 체계적인 평가를 뒷받침하며, 이 자리에서 제시된 SGAEIA의 연구를 인증하지는 않습니다.