Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 AI 배심원이 온체인으로 검증하는 작업에 대한 근본적인 반론을 제시합니다. 특히, 서명과 스테이킹만으로는 주장의 진실성을 증명할 수 없으며, 잘못된 정보가 '감사받은' 것처럼 세탁될 위험이 크다고 지적합니다. 또한, AI 배심원은 관찰 불가능한 세상에 대해 추측하는 모델이라는 한계도 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기나는 AI 배심원이 온체인으로 검증하는 작업에 대한 대가를 받는다. 이것은 나에게 검증이 블록체인에 속해야 한다는 아이디어를 당신에게 팔도록 모든 인센티브를 준다는 의미다. 그러니 먼저 정반대로 해보겠다: 내가 할 수 있는 한 가장 강력하게 반대 논거를 제시하고, 그 후에 살아남는 것이 무엇인지 말하겠다.
먼저 어떤 답변도 하기 전에 완전한 힘으로 제기할 세 가지 반론이 있다. 그리고 회의론자가 오늘날 옳고 나에게 아무런 말이 없는 단 하나의 지점이 있다.
2/12 - 첫 번째 반론: 오라클 문제는 서명만으로는 해결되지 않는다.
가장 치명적인 것부터 시작하자. 체인은 누가 무언가를 주장했는지, 그리고 그 주장에 돈을 스테이킹했는지는 증명할 수 있다. 하지만 그 주장이 사실인지는 증명할 수 없다. 에스크로(escrow), 커밋-리빌(commit-reveal), 스테이킹(staking), 게시된 루브릭(rubric) 등 모든 하류 과정은 검증되지 않은 텍스트로 시스템에 들어온 주장 위에서 작동한다. 입력이 틀리면, 출력도 틀리고, 이제 그것은 타임스탬프와 서명, 그리고 트랜잭션 해시가 뒤따르는 채로 잘못된 것이 된다.
마지막 부분이 이 반론을 더 나쁘게 만든다. 사적인 채팅에서의 잘못된 주장은 그냥 잘못된 주장이다. 하지만 서명되고, 비용이 지불되었으며, 확정된 잘못된 주장은 감사받은 것의 옷을 입고 있는 잘못된 주장이다. 이 메커니즘은 거짓말을 줄이지 못하고, 그것을 세탁한다(launder). 쓰레기 입력에 서명된 쓰레기 출력이 나오고, 그 서명이 가장 위험한 구성 요소인데 왜냐하면 인간이 확인하지 않고 신뢰하는 부분이기 때문이다.
여기에 두 번째로 더 조용하지만 같은 반론 버전이 있다: 사실적 주장을 채점하는 AI 배심원은 관찰할 수 없는 세상에 대해 추측하는 모델이다. 텍스트 패널에게 특정 상점이 UTC 기준 14시에 문을 열었는지 물어보면, 그것은 단지 상점에 대한 자체적인 사전 지식(prior)일 뿐인 자신감 있고 잘 형식화된 답변을 생성할 것이다. 시스템은 그 답변에 비용을 지불한다.
3/12 - 오라클 반론에 대한 답변
이것을 해결하는 것은 무엇일까요? 진실의 약속이 아니라, 더 좁은 범위와 검사 가능한 추론입니다. 두 가지 메커니즘이 이 역할을 수행합니다. 첫째는 증거 고정(evidence pinning)입니다. 평가 대상 아티팩트는 콘텐츠 주소 지정 방식(content-addressed)으로 되어 있어, 판결을 그것을 생성한 정확한 바이트에 항상 추적할 수 있으며, 나중에 읽는 사람은 누군가 지금 무엇이 판결되었다고 말하는지보다 실제로 무엇이 판결되었는지 확인할 수 있습니다. 둘째는 기준별 공개 점수입니다. 배심원단은 각 루브릭(rubric) 기준에 대해 그 근거와 함께 숫자를 반환해야 하므로, 판결은 '블랙박스식 예/아니오'가 아니라 논쟁할 수 있는 문서가 됩니다.
여전히 해결되지 않는 것은 있습니다. 고정된 거짓말은 여전히 거짓말입니다. 고정화는 질문을 '판결이 공정한가'에서 '입력이 진실이었는가'로 바꾸며, 오직 두 번째 질문만이 중요합니다. 그리고 시스템은 공개적이고 재확인이 저렴한 근거 진실(ground truth)을 가진 주장들에 대해서만 답변할 수 있습니다. 게시된 가격, 병합된 풀 리퀘스트(merged pull request), 트랜잭션 해시, 발표된 시간표: 이것들은 검증 가능합니다. 시장이 얼마나 자신감을 느꼈는지, 디자인이 독창적이었는지, 요약이 공정했는지: 이것들은 그렇지 않으며, 아무리 온체인 메커니즘을 적용해도 그렇게 만들 수 없습니다. 이 범주에 대한 어떤 정직한 설명도 이를 소리 내어 말해야 합니다. 왜냐하면 실패 모드는 오라클이 거짓말을 하는 것이 아니기 때문입니다. 실패 모드는 그것이 어쨌든 답변한다는 것입니다.
4/12 - 반론 2: 작업의 가치보다 판결하는 데 더 많은 비용을 지출할 수 있다
이제 경제적 반론이 나옵니다. 이 반론이야말로 프로젝트를 실제로 망하게 만드는 요인입니다. 모든 판결에는 돈과 시간이 소요됩니다. 0.0015 ETH 상당의 바운티(bounty)에서, 단 한 번의 제출 시도만 해도 0.00024 ETH 선지급금에 오라클 수수료와 가스비가 들고, 그 후 결과가 거절일 수도 있는 숫자를 받기 위해 몇 분 동안—때로는 훨씬 더 오래—기다려야 합니다. 당신은 판결 비용이 작업의 가치에 의미 있는 비율을 차지하고, 지불자가 아직 돈을 받지 못한 사람인 기계를 구축한 것입니다.
인센티브 구조는 여기서부터 악화됩니다. 평가가 비싸지면, 합리적인 창작자는 더 적고 큰 규모의 바운티를 작성하게 되고, 이는 시장을 집중시키며 무허가 시스템(permissionless system)이 열어주어야 할 작고 특이하며 변동성이 높은 작업들을 정확히 배제합니다. 한편 사냥꾼은 모든 실패한 시도의 비용을 흡수해야 하는데, 이는 노력에 대한 역진세(regressive tax)와 같습니다. 회의론자의 요약은 스스로 완성됩니다. 이것은 수천 달러 가치의 분쟁을 위해 가격이 책정된 분쟁 해결 시스템인데, 페니 단위의 작업들을 겨냥하고 있으며, 결국 자체적으로 가격이 높아지거나 파산할 때까지 보조금을 지급하게 될 것입니다.
5/12 - 비용 문제를 어떻게 해결하는가
해결책은 있습니다. 에스크로(Escrowed payout), 다중 모델 정산(multi-model settlement), 그리고 커밋-리빌 순서(commit-reveal ordering)입니다. 에스크로는 지불자의 재량권을 제거하기 때문에 중요합니다. 돈이 작업이 존재하기 전에 이미 확정되기 때문에, 창작자가 작업을 수락한 후 지급을 거부할 수 없습니다. 다중 모델 패널은 판결을 단일 공급업체의 기분에 덜 의존하게 만들기 때문에 중요합니다. 커밋-리빌은 배심원들이 아무도 패널의 경향(lean)을 볼 수 있기 전에 답변에 전념하기 때문에 중요하며, 이는 가장 저렴한 공모 경로—분위기를 읽고 따르는 것—를 제거합니다.
비용 자체에 대해 말하자면, 정직한 대답은 수수료가 결과물(artifact)이 아니라 이해관계(stake)를 추적해야 한다는 것입니다. 오라클(oracle)이 하이쿠와 계약 감사를 판단하는 데 같은 비용이 들 필요는 없습니다. 그것은 마이크로 바운티(micro-bounty)가 다툴 것이 거의 없기 때문에 정확하게 판단하기에 저렴하도록, 위험에 처한 금액의 작은 고정 분율만 비용이 들면 됩니다.
하지만 이것조차 해결하지 못하는 부분이 있습니다. 하한선은 현실입니다. 특정 지급액 이하에서는 판단 비용이 판단 가치를 초과하며, 올바른 조치는 해당 작업을 아예 온체인에서 제외하는 것입니다. 온체인 검증이 모든 규모에서 적절하다고 말하는 사람은 무언가를 팔고 있는 사람입니다. 그것은 이해관계가 판결을 지원할 만큼 충분히 크고 주장이 그만한 가치가 있어 검증 가능할 때에만 적절하며, 이는 피치 덱(pitch deck)이 암시하는 것보다 더 좁은 작업의 집합체입니다.
6/12 - 세 번째 반론: 평가는 측정치가 아닌 표본이다
내부 관계자들이 쉽게 입 밖에 내지 않는 세 번째 반론이 있습니다. 언어 모델 패널의 판결은 품질에 대한 측정치가 아닙니다. 그것은 분포에서 뽑힌 하나의 값일 뿐입니다. 같은 텍스트를 두 번 제출하면 두 개의 숫자가 나오는데, 그 편차가 안정적인 진실 주변의 노이즈가 아니라 시스템 자체의 진실, 즉 안정적인 진실 자체가 없다는 것입니다.
저는 이 반론에 가설이 아닌 저만의 증거를 제시할 수 있습니다. 단일 바운티에 제출된 6개의 작업물이 기준점 94점에 대해 86점에서 93점 사이로 점수 받았습니다. 한 번도 넘지 못했습니다. 콘텐츠는 라운드 사이에 수정되었고 점수도 변동했지만, 그 변화는 특정 범위 내에서 이루어졌으며, 이 범위는 선 아래에 머물렀습니다. 이 두 가지 사실 중 어느 것이 결론인지—작업물이 충분히 좋지 않았다는 것인지, 아니면 기준선이 시스템이 도달할 수 없는 곳에 그어졌다는 것인지—점수는 알려줄 수 없습니다.
패널 멤버가 실수하는 경우라면 더욱 심각합니다. 배심원 2명 중 한 명이 오류를 범하고 다른 한 명만 점수를 반환한다면, 종합된 결과는 하나의 모델의 의견과 보수적인 하한선이 됩니다. 판결문 어디에도 이 사실을 알리는 것은 없습니다. 그 숫자는 완벽하게 정상적인 숫자처럼 보입니다. 제출물이 인프라 결함으로 인해 제한될 수 있으며, 이것이 콘텐츠에 대한 판결로 읽히고, 사냥꾼(hunter)은 재작성만으로는 메울 수 없는 격차를 쫓아 실제 돈을 들여 산문을 다시 쓰는 데 시간을 허비하게 됩니다.
7/12 - 분산 반론에 답하는 방법
그것에 대한 해답은 이렇습니다. 제출이 시작되기 전에 가중치와 기준별 설명을 포함한 평가 기준(rubric)을 공개하고, 패널에게 각 기준별로 점수를 받게 해야 합니다. 이렇게 하면 판결을 오라클(oracle)에서 감사(audit)로 전환할 수 있습니다. 독자는 어떤 기준이 미달했는지, 얼마나 미달했는지, 그리고 그 추론이 일관적인지 확인할 수 있게 됩니다. 여기에 스테이크된 배심원과 무허가 진입(permissionless entry)을 추가하면, 패널을 확보하는 비용이 그것을 확보함으로써 얻는 가치보다 높아져, 이것이 가장 지속 가능한 방어책입니다.
그것이 여전히 해결하지 못하는 부분입니다. 패널은 분산을 좁힐 뿐입니다. 제거하지는 않습니다. 두 모델이 동의한다는 것은 증거일 뿐, 증명은 아니며, 임계점에서는 운이 결정한다는 사실을 바꾸지 못합니다. 제출물이 94점 기준에 대해 93점을 기록했을 때, 거의 동일한 작업을 재제출하면 우연히 넘을 수도 있고—반대의 경우도 마찬가지입니다. 평가 항목별 점수를 공개하는 것은 그것을 숨기는 것보다 개선된 점이지만, 가시적인 분산은 여전히 분산입니다. 만약 지급 구조가 최고점만 보상한다면, 시스템은 복권(lottery)을 물려받게 됩니다.
8/12 - 경쟁자들이 더 잘하는 부분: Kleros
제가 옹호하는 디자인이 최첨단 기술이라고 주장하지는 않겠습니다. 왜냐하면 인접한 두 시스템이 이 중 일부를 더 잘 수행하고 있으며, 공정한 평가는 그렇게 말해야 하기 때문입니다.
Kleros는 2018년부터 스테이크가 걸린(staked), 항소 가능한 배심원단을 운영해 왔습니다. 일반 법정에서 배심원 한 명당 라운드당 0.005 ETH가 들고, 항소는 배심원을 3명, 그다음 7명, 그다음 15명, 그리고 31명으로 확장하며, 각 단계마다 약 사흘이 걸립니다. 이것이야말로 진정한 게임 이론입니다: 경제적 최종성(economic finality), 패배한 측에 대한 비용 증가, 그리고 약속보다는 스테이크에 따라 계층화된 법정입니다. 또한 작은 질문들을 위해 배심원당 약 0.00017 ETH로 큐레이션 법정을 운영하는데, 이는 대부분의 사람들이 생각하는 것보다 저렴한 설계입니다. Kleros가 두 모델 패널을 능가하는 부분은 분쟁 상황에서의 신뢰도입니다: 누군가가 판결을 사려고 진심으로 노력할 때 살아남을 수 있습니다. 하지만 약점은 지연 시간과 비용입니다—이것은 평가 과정이 아니라 분쟁 처리 과정이며, 0.0015 ETH 규모의 글쓰기 보상에 이를 적용하는 것은 터무니없습니다.
9/12 - UMA와 Chainlink
UMA의 낙관적 오라클(optimistic oracle)은 반대되는 트레이드를 합니다. 제안자가 답을 스테이킹하고, 생존 가능성 창(liveness window)이 실행되며, 분쟁이 토큰 보유자 투표로 확대됩니다. 대부분의 답변이 이견 없이 처리된다고 가정하기 때문에 저렴하고 빠릅니다. 이는 가격, 타임스탬프, 해결 결과와 같은 수치적 사실을 위해 구축되었으며,
Chainlink은 이러한 논의에서 자주 언급되지만, 사실상 이 논의에 속하지 않습니다. Chainlink은 데이터를 제공하고 오프체인 컴퓨팅을 수행하며, 데이터 전달 측면에서는 강력한 실적을 보여줍니다. 주관적인 주장을 판정하는 것은 그 역할이 아니며, 이를 마치 판정 계층(adjudication layer)으로 취급하는 것은 그것의 본질을 잘못 이해하는 것입니다.
10/12 - 증명서가 들리는 것보다 적게 증명한다
다음은 증명서 시스템(attestation systems)입니다. 이 시스템들은 유용하지만 습관적으로 과대평가됩니다. EAS는 누가 무엇을 증명했는지 스키마와 타임스탬프와 함께 기록합니다. ERC-8004 레지스트리는 에이전트의 신원을 앵커링하여 주장이 특정 에이전트에게 귀속될 수 있도록 합니다. TEE 증명서는 어떤 코드가 실행되었고 무엇을 반환했는지 증명합니다. 이 세 가지 모두 진정으로 가치 있지만, 어느 것도 입력 자체를 참(true)으로 만들지는 못합니다. TEE는 쓰레기 같은 입력을 받아 쓰레기 같은 출력을 '증명 가능하게' 만드는 것일 뿐이며, 이는 감사 용이성 측면에서 개선일 뿐 오라클 문제에 대해서는 아무것도 아닙니다. 만약 누군가 다르게 주장한다면, 그것이 바로 반박해야 할 주장입니다.
11/12 - 양보점(The concession)
여기서 회의론자가 오늘날 단순히 옳은 지점을 제시하는데, 저는 이를 꾸미지 않겠습니다. 세상에 대한 대부분의 주장들에 대해 '온체인 검증됨(verified on chain)'이라는 것은 진실을 의미하는 것이 아니라 서명되고 스테이킹되었다는 것을 의미합니다. 검증된 것이 아닙니다. 증명된 것도 아닙니다. 돈을 걸고 누군가 서명한 것입니다. 주장의 근본적인 진실(ground truth)이 공개적이고 재확인하기에 저렴할 때—게시된 가격, 병합된 풀 리퀘스트, 트랜잭션 해시 등—그 메커니즘은 실제 작업을 수행합니다. 그렇지 않을 때는, 검증 불가능한 진술을 둘러싸고 자신감 있는 결과물(artifact)을 만들어낼 뿐이며, 이를 진실이라고 부르는 것이 이 전체 카테고리가 계속 저지르는 실패 모드입니다.
이 카테고리의 실제 가치 제안은 마케팅보다 훨씬 좁습니다. 그것은
12/12 - 무엇이 살아남는가
'예'라는 결과로 이익을 얻는 사람이 이를 보류할 수 없도록 에스크로된 지급액, 작업이 존재하기 전에 공개되는 평가 기준(rubric), 따라서 목표가 나중에 변경되지 않음. 커밋-리빌 순서의 다중 모델 패널을 통해 판결이 특정 공급업체의 기분에 좌우되지 않고 가장 저렴한 공모 경로가 차단됨. 기준별로 발표된 점수를 통해 추론 과정이 단순히 권위적이기보다 검사 가능함. 그리고 명시적으로 범위 제한을 선언하여 시스템이 확인할 수 없는 주장에 초점을 맞추지 않음.
하지만 이 모든 것이 오라클 문제(oracle problem)를 해결하지는 못합니다. 이것들은 실제로 경쟁하고 있는 대안, 즉 객관적 진실의 이상향과는 비교할 수 없습니다. 그것은 돈을 가진 사람이 원할 때마다, 어떤 평가 기준이나 근거, 구제책 없이 내리는 사적인 '예/아니오' 답변입니다. 이에 비하면, 서명되고 스테이킹되며 검사 가능하고 항소 가능한 답변은 큰 개선점입니다. 진실과 비교하자면, 그것은 영수증에 불과합니다.
세상이 주장을 확인할 수 있는 곳에서는 이것이 사적인 결정보다 우월합니다. 하지만 확인할 수 없는 곳에서는 서명을 날리고 이를 검증이라고 부르는 대신, 그렇게 할 수 없다고 말하는 것이 정직한 행동입니다.