AI 에이전트는 코드 검토, 문서 요약, 계약 분석 및 질문 답변 등에 점점 더 많이 사용되고 있습니다. 많은 경우, 결과 자체의 진위 여부가 중요합니다.

앨리스가 AI로 생성된 보안 검토 결과를 밥에게 공유하고 싶다고 가정해 봅시다. 밥은 그 검토 결과가 특정 에이전트가 특정 입력을 가지고 정확히 만들어낸 것임을 알고 싶어 합니다.

다시 말해, 밥은 다음을 증명할 증거를 원합니다:

output = Agent(input)

특정 에이전트, 모델 버전, 구성 및 입력에 대해, 동일한 입력을 다시 실행하고 토큰과 시간을 소비하지 않으면서 말입니다.

오늘날에는 이를 증명하는 표준적인 방법이 없습니다.

신뢰 기반 증명(Trusted attestation)

가장 간단한 해결책은 신뢰할 수 있는 권위자에게 의존하는 것입니다.

추론 서비스 또는 독립 감사자가 에이전트를 실행하고 그 결과에 서명합니다.

인증서에는 다음 내용이 포함될 수 있습니다:

Agent: OpenAI Code Security Review
Model: GPT-5.5
Agent version: v3
...

원본 입력과 출력을 가진 사람은 누구나 해시와 서명을 검증할 수 있습니다. 만약 이들이 일치한다면, 그 출력은 진본입니다.

하지만 이것이 모델이 올바르게 실행되었음을 증명하는 것은 아닙니다. 신뢰할 수 있는 권위자가 해당 입력을 가지고 이 출력을 생성했다고 인증한다는 것을 증명할 뿐입니다.

많은 애플리케이션의 경우, 그것만으로도 충분합니다. 이는 소프트웨어 발행자의 코드 서명을 신뢰하거나 웹상의 인증 기관(Certificate Authority)을 신뢰하는 것과 다를 바 없습니다.

AI 제공업체, 코드 호스팅 플랫폼 또는 독립 감사자 모두 AI로 생성된 아티팩트에 대한 서명된 증명서를 게시할 수 있습니다.

신뢰를 넘어(Beyond trust)

더 강력한 목표는 신뢰하는 권위자를 완전히 제거하는 것입니다.

서명에 의존하기보다는, 추론 자체가 지정된 모델을 지정된 입력에 평가했을 때의 결과와 정확히 일치한다는 암호학적 증명을 생성해야 합니다.

검증은 더 이상 추론을 수행한 서비스에 대한 신뢰에 의존하지 않게 됩니다. 누구나 독립적으로 그 증명을 검증할 수 있습니다.

이는 활발한 연구 분야입니다. 영지식 증명(Zero-knowledge proofs), zkVMs 및 기타 검증 가능한 컴퓨팅 기술이 진전을 보이고 있지만, 최첨단 AI 모델에 대한 증명을 생성하는 것은 여전히 비용이 많이 듭니다.

중요성

검증 가능한 추론은 AI 출력을 훨씬 더 유용하게 만들 것입니다.

코드 리뷰는 특정 검토 에이전트에 의해 생성되었음을 입증하는 증명과 함께 제공될 수 있습니다. 법률 분석은 특정 모델 버전에서 나왔음이 검증될 수 있습니다. 연구자들은 독자들이 원본 출력을 보고 있다는 확신을 가지고 AI가 생성한 분석을 인용할 수 있을 것입니다.

검증 가능한 추론은 모델을 더 정확하거나 더 신뢰할 수 있게 만들지 않습니다. 단지 그 출처(provenance)를 보존합니다. 모델에 대해 갖고 있는 모든 신뢰—또는 회의감—가 그 출력물까지 전달될 수 있습니다.

AI가 생성한 콘텐츠는 오늘날 서명된 소프트웨어 릴리스나 디지털 서명이 된 문서처럼, 일급의 검증 가능한 아티팩트(artifact)가 될 수 있습니다.

AI가 인프라가 되면서, 검증 가능한 추론은 HTTPS나 코드 서명만큼 근본적인 것이 될 수 있습니다.