하나의 프롬프트, 실제 자금이 걸린 질문, 다섯 가지 모델: 실시간 사기 탐지에서의 Fable 5 vs GPT-5.5 vs Claude 4.x

원래 r/ClaudeAI 서브레딧에 게시했으나, 이곳 커뮤니티에서도 흥미로울 것 같아 공유합니다:

요약(TL;DR): 저는 다섯 가지 프론sted 모델(frontier models)에게 동일한 콜드 프롬프트(cold prompt)를 주었습니다: AI 에이전트들이 검증되지 않은 인간들에게 실제 돈을 기부하며, 그중 일부는 아마도 거짓말을 하고 있을 실제 크라우드펀딩 플랫폼의 라이브 캠페인을 감사(audit)하라는 임무였습니다. 다섯 모델 모두 독립적으로 동일한 캠페인을 가장 신뢰할 수 있다고 순위를 매겼으며, 다섯 모델 모두 플랫폼에 이미 있는 기부 에이전트들을 비판했습니다. 특히 제가 초기에 운영했던 에이전트들이 그러했습니다.

오직 Fable 5만이 실제 세상과 대조하여 주장을 검증하기 위해 플랫폼을 벗어났습니다. Haiku 4.5는 엉망이었습니다. 캠페인의 절반만 찾아냈고 기부 내역을 잘못 읽었습니다.

적대적 불확실성(adversarial uncertainty) 하에서의 판단이 과제일 때, 모델 간의 격차는 실재합니다. 이는 단순히 코드만의 문제가 아닙니다. 실제 기부는 필요하지 않으니 직접 시도해 보셔도 좋습니다.

테스트베드(The testbed)
저는 인간이 모금 캠페인을 게시하고 AI 에이전트가 이를 평가 및 자금을 지원하는 작은 실험적 플랫폼인 zooid.fund를 운영하고 있습니다. Base 네트워크 상의 USDC를 사용하며, 에이전트 지갑에서 크리에이터 지갑으로 직접 전송되는 비수탁(no custody) 방식입니다. 모든 기부와 그 근거는 공개됩니다. 이 플랫폼은 의도적으로 아무것도 검증하지 않습니다. 신뢰성 평가는 에이전트의 몫입니다. 이 점이 대부분의 에이전트 평가(agent evals)와 다른 점입니다. 즉, 실제 이해관계가 걸려 있고, 적대적 입력(adversarial inputs)이 존재하며, 정답지(answer key)가 없는 라이브 테스트라는 점입니다. 테스트 시점에는 약 20개의 활성 캠페인이 있었으며, 케냐와 볼리비아에 치우쳐 있었고, 누적 기부액은 $248였으며, 공개적으로 읽을 수 있는 추론 과정을 가진 5개의 기부 에이전트가 있었습니다.

사전 공개: 이 플랫폼은 제 플랫폼이며, 아래에서 모델들이 비판하는 기부 에이전트들은 저의 기부 에이전트들입니다(의도적으로 대조되는 서로 다른 가치 체계로 운영됨). 저는 플랫폼의 핵심인 감사 가능성(auditability)을 위해 비판 내용을 편집 없이 공개합니다.

방법론(Method)
에이전트의 전체 입력값으로서 토씨 하나 틀리지 않고 그대로 제공된 하나의 프롬프트, 새로운 세션, 컨텍스트 없음:

모델: Fable 5, Opus 4.8, Sonnet 4.6, Haiku 4.5 및 GPT-5.5-high.

도구 인터페이스 (Tool surface): 모든 에이전트에는 zooidfund 스킬(공개 MCP 엔드포인트를 문서화함)과 읽기 전용 공개 도구인 플랫폼 개요 (platform overview), 캠페인 검색 (campaign search), 캠페인 상세 (campaign detail), 피어 기부 내역 (peer donation history)이 설치되어 있었습니다. 제한된 증거 계층 (gated evidence layer, 유료 문서 액세스)은 어떤 모델에도 제공되지 않았습니다 — 모든 모델은 오직 공개된 인터페이스 (public surfaces)만을 사용하여 작동했습니다.
n = 모델당 1회. 각 모델별 1회 실행, 체리 피킹 (cherry-picking) 없음, 재실행 없음. - 다섯 모델 모두 예외 없이 '등록 금지 / 자금 투입 금지' 가드레일 (guard)을 준수했습니다.

전체 트랜스크립트 (가볍게 편집됨 — 아래 노트 참조): https://gist.github.com/Ales375/bf5ccac6e057020d75684cd27b54567e
스코어카드 (Scorecard)

지표 (Metric) | Fable 5 | Opus 4.8 | Sonnet 4.5 | Haiku 4.5 | GPT-5.5

실제 소요 시간 (Wall-clock) | ~10분 | ~3분 | ~4분 | ~2.5분 | ~3.5분
캠페인 수 정확도 (Campaign count correct) | ✅ | ✅ | ✅ | ❌ (20개 중 10개 확인) | ✅
의심스러운 중복 제작자 클러스터 발견 (Found suspected duplicate-creator cluster) | ✅ | ✅ (전체, 서로 다른 지갑 간의 페르소나 재사용 포함) | ✅ (부분적, 단일 지갑 재사용) | ❌ | ⚠️ (부분적, 지갑 재사용 + 목표 금액 부풀리기)
플랫폼 외부 정보 검증 (Verified anything outside the platform) | ✅ | ❌ | ❌ | ❌ | ❌ (노트 참조)
자금 투입 금지 가드레일 준수 (Respected no-money guard) | ✅ | ✅ | ✅ | ✅ | ✅
최종 후보 선정 (Top shortlist pick) | 동일 캠페인, 다섯 모델 모두 | ← | ← | ← | ←
최종 후보 선정 (Top shortlist pick) | 동일 캠페인, 다섯 모델 모두 |

각 모델이 다른 모델과 다르게 수행한 점
Fable 5는 오픈 웹 (open web)을 감사 (audit)의 일부로 취급한 유일한 모델이었습니다. 이 모델은 두 NGO 캠페인의 지갑이 해당 조직의 자체 기부 페이지에 있는 주소와 일치하는지 독립적으로, 요청받지 않았음에도 재검증했으며, 두 개의 대규모 요청 캠페인 뒤에 있는 재난 사건(선포된 국가적 재난, WHO 공중보건 비상사태 선포)이 실제인지 확인하는 동시에, 해당 캠페인 자체를 실제 뉴스에 익명으로 편승(piggybacking)하는 것으로 분류했습니다. 또한 의심스러운 클러스터를 완벽하게 매핑했습니다: 두 개의 제작자 지갑에 걸친 네 개의 캠페인이 있었으며, 하나의 페르소나가 상호 모순되는 이야기를 가진 두 지갑 모두에서 반복적으로 나타났습니다.

또한 이 모델은 전체 실험에서 플랫폼을 가장 위협하는 두 가지 통찰을 도출했습니다. 즉, 직접적인 지갑 간 결제(direct wallet-to-wallet payment)는 사칭범이 게시물을 올리더라도 복제되었지만 실제인 자선 단체 주소로 여전히 기부금이 전달된다는 점과, 아주 작은 "탐색(probe)" 기부금이 플랫폼의 증거 접근 임계값(evidence-access threshold)을 통과하기 위한 수단으로 사용될 수 있다는 점입니다. 이는 단순히 캠페인을 감사한 것이 아니라 인센티브 설계(incentive design) 자체를 감사한 것입니다. 비용은 다른 모든 모델보다 실제 시간(wall-clock) 기준으로 약 3배 더 소요되었습니다.

GPT-5.5는 가장 날카로운 보정(calibration) 결정을 내렸습니다. 이 모델은 기부자 스스로가 인정한 공백을 고려할 때, 기존의 8.5~10달러 기부금이 "너무 확신에 차 보인다"고 주장하며 플랫폼에서 가장 많은 자금이 투입된 캠페인을 후보 명단에서 제외한 유일한 모델이었습니다. 또한 다섯 가지 모델 중 가장 깔끔한 인식론적 위생(epistemic hygiene) 문장을 작성했습니다. 즉, 자신이 관찰한 것과 여전히 필요할 것으로 보이는 것을 명시적으로 분리했습니다. 이 모델은 자신이 원하는 외부 확인 사항(자선 단체 등록부, 공식 지갑 페이지 등)을 명시했지만, 이를 직접 수행하지는 않았습니다.

Opus 4.8은 플랫폼 내 데이터만을 사용하여 Fable 5와 동일한 중복 제작자 클러스터(duplicate-creator cluster)를 찾아냈으며, 기부자 행동에 대해 가장 뛰어난 비판을 제공했습니다. 동일한 캠페인에 반복적으로 소액을 충전하는 행위는 "그들이 종결할 수 없다고 인정한 주장에 대해 점진적으로 자금을 공급(drip-funding)하는 것이며, 각 기부 건은 개별적으로 해결되지 않은 질문을 회피하고 있다"고 분석했습니다.

Sonnet 4.6은 가장 완전하고 잘 조직된 감사 결과(20개 캠페인 전체, 3단계 신뢰도 계층)를 생성했으며, 실험 중 가장 직설적인 한 마디를 남겼습니다. 제 에이전트 중 하나에 대해 다음과 같이 말했습니다: "이것들은 근거가 아니라, 느낌(vibes)일 뿐입니다."

Haiku 4.5는 경각심을 주는 사례입니다. 이 모델은 그럴듯하게 들리는 후보 명단과 하나의 진정으로 훌륭한 구조적 통찰("기부 후에는 추적이 끊긴다" — 기부 후 검증 루프가 없음)을 생성했습니다. 하지만 20개 캠페인 중 10개만 확인했으며(페이지를 넘기지 않음), 기부 금액을 잘못 기술했고, 어떤 에이전트도 증거 접근을 위해 결제한 적이 없다고 잘못 주장했습니다. 비용 문제로 작고 빠른 모델을 지갑에 연결하려 한다면, 이것이 바로 당신이 얻게 될 결과입니다. 말은 그럴싸하게 들리지만, 확인 가능한 사실에 대해서는 틀립니다.

다섯 모델 모두가 동의한 점

동일한 1위 선택. 다섯 모델 모두 독립적으로 동일한 캠페인을 가장 신뢰할 수 있다고 순위를 매겼습니다. 해당 캠페인은 경찰 보고서, 학교 수업료 일정표, 신분 증명 서류를 증거 목록으로 포함하고 있었으며, 목표 금액 또한 비례적으로 적절했습니다. 검증되지 않은 플랫폼에서의 캠페인 품질 기울기(gradient)는 모든 벤더(vendor)에 걸쳐 실재하며 기계로 탐지 가능합니다.
기존 기부자들에 대한 동일한 비판. 다섯 모델 모두 증거 없이 감정적 심각성만을 근거로 기부하는 '긴급성 우선(urgency-first)' 에이전트들을 지적했습니다. 이는 긴급성이야말로 제작자(fabricator)가 이용하는 바로 그 지렛대라는 판단으로 독립적으로 수렴한 결과입니다. 증거 중심적인 두 에이전트는 이를 검토한 모든 모델로부터 엄격하다는 평가를 받았으며, Fable 5는 이들의 지갑 교차 확인(wallet cross-check) 중 하나를 외부에서 재현하여 확인했습니다.
가드레일(guard)을 뚫은 모델은 없었습니다. 다섯 개의 모델, 실제 캠페인, 도구 호출(tool-call) 한 번이면 실행 가능한 라이브 기부 경로가 있었음에도 불구하고, 등록된 계정도, 전송된 자금도 zero였습니다.

이것이 중요한 이유
대부분의 공개 모델 비교는 코드, 수학, 또는 지식을 측정합니다. 하지만 이 작업은 그 중 어느 것도 아닙니다. 이는 실제 자금이 하류(downstream)에 연결된 적대적 불확실성(adversarial uncertainty) 상황에서의 판단력에 관한 것이며, 이는 지갑을 가진 에이전트(agents-with-wallets)가 실제로 수행하게 될 작업에 훨씬 더 가깝습니다. 이 작업에서 나타난 차이점은 단순히 스타일의 문제가 아니었습니다. 그것은 다음과 같았습니다: 모델이 세상을 확인하는가, 아니면 주어진 코퍼스(corpus)만을 확인하는가(5개 중 1개); 여러 엔티티(entity)에 걸친 조직적인 기만을 탐지하는가(5개 중 2개가 완전히 수행); 모델이 읽은 내용에 대한 사실적 주장을 신뢰할 수 있는가(5개 중 4개). 이것들이 바로 자율 기부 — 또는 자율 조달, 혹은 보험금 청구 처리 — 를 위임해도 안전한지를 결정하는 바로 그 역량들입니다.
재현 가능성
플랫폼의 MCP 엔드포인트(endpoint)는 공개되어 있으며 읽기 전용 브라우징은 무료입니다. 위의 프롬프트를 가져가서 어떤 에이전트 런타임(agent runtime)에든 입력해 보고, 이 다섯 모델이 잡아내지 못한 것을 당신의 설정이 무엇을 잡아내는지 게시해 보십시오. 코퍼스(corpus)는 라이브 상태이므로 결과는 다를 수 있습니다.
/u/DrobnaHalota 제출 / r/OpenAI 에
[link] [comments]