ASI 연구가 존재하기 전에 신뢰성을 확보하는 방법

결과처럼 꾸며진 야심 찬 연구 제안서 같은 AI 글쓰기 장르를 없애고 싶습니다. 실험 없이 제시된 특정 벤치마크 점수들. 자금 지원이 없는 예산 내역. 제출 기록이 없는 'Nature에 제출됨' 등의 문구들이요. 저는 이 패턴을 너무 많이 보았고 — 심지어 저 자신의 초기 초안에서도 — 그래서 진실한 버전이 어떤 모습인지에 대한 프레임워크를 작성했습니다.

이 포스트가 바로 그 압축된 프레임워크입니다. 전체 정리된 문서는 마지막에 링크되어 있습니다.

핵심 아이디어: 검증 우선(validation-first)

대부분의 ASI 글쓰기는 다음과 같은 순서를 따릅니다: 큰 주장 → 더 큰 주장 → 로드맵 → 자금 요청. 반면, 검증 우선 버전은 다음을 따릅니다:

1. 가설 진술 — 무엇이 참이어야 하는가?
2. 측정 정의 — 어떻게 알 수 있는가?
3. 사전 기준 설정 — 성공 또는 실패는 무엇으로 간주되는가?
4. 재현 가능성 약속 — 다른 사람이 확인할 수 있는가?
5. 모든 것 보고 — 실패 사례까지 포함해서요.

이 중 어느 것도 독창적인 것은 아닙니다. 단지 과학적 방법론을, 주장이 흥분될 때마다 잊어버리는 분야에 적용하는 것일 뿐입니다.

진실한 버전에서 제거해야 할 것들

• 조작된 벤치마크 점수. 초안에는 비교표가 포함되어 있었습니다: GPT-4는 78%, Gemini는 82%, 제가 제안한 시스템은 >90%. 이 수치들은 꾸며낸 것입니다. "검증 필요"라는 별표가 숫자를 진짜로 만드는 것은 아닙니다. 정직한 표에는 점수가 없습니다. 단지 질적 비교만 있으며, 모든 "제안된" 셀은 가설(hypothesis)로 표시되어야 합니다.
• 조작된 연구 결과. 초안에는 의학 및 교육 연구에 대한 "예비 결과"가 포함되어 있었습니다 — 정확도 94% 대 87%, p < 0.01, 학습 속도 35% 향상. 실제 수행된 연구는 없습니다. 살아남은 것은 연구 _설계_입니다. 결과가 없는 좋은 실험 설계는 정직합니다. 실험 과정 없이 나온 결과는 허구입니다.
• 1억 1,500만 달러 예산 및 명시된 자금 출처. 특정 금액의 달러($) 액수, "적용됨(applied)", "논의 중(in discussion)", "협상 진행 중(negotiations ongoing)" 등은 검증할 수 없으며, 솔직히 말해 꾸며낸 것입니다. 완전히 제거했습니다. 프로토타입이 있기 전에 자원 계획을 세우는 것은 어차피 시기상조입니다.
• 제출 주장. "Nature Machine Intelligence에 제출됨(Submitted to Nature Machine Intelligence)." 제출 확인서가 없다면, 제출했다고 주장하지 마십시오.
• 명시된 기관 파트너. MIT, Stanford, DeepMind 같은 곳을 "협정 대기 중(agreements pending)"이라는 문구와 함께 검증 파트너로 나열하는 것은 존재하지 않는 관계를 암시합니다. 이름이 아니라 검증자 _프로필_만 제시해야 합니다.

살아남은 것: 골격 구조

유지할 가치가 있는 것은 구체적인 내용(specifics)이 아니라 구조(structure)입니다.

• 측정값과 쌍을 이루는 가설(Hypotheses paired with measurements). '우리 시스템이 더 좋다'가 아니라 '이를 보여줄 정확한 실험 방법은 다음과 같다'여야 한다.
• 미리 제안된 벤치마크 모음(A benchmark suite proposed in advance) — MMLU, HumanEval 등—에 목표 점수를 첨부하지 않는 것이다. 작동하는 시스템 없이 존재하는 목표 점수는 단순한 희망 사항일 뿐이다.
• 재현성(Reproducibility)을 최우선 요구사항으로: 공개 코드, 문서화된 하이퍼파라미터(hyperparameters), 컨테이너화된 환경(containerized environments), 독립적인 검증 등이 필요하다.
• 사전 등록 사고방식(Pre-registration thinking): 실험을 실행하기 전에 성공 기준을 정의하여 나중에 목표를 바꾸는 것을 막아야 한다.
• 안전 및 윤리를 부록이 아닌 아키텍처로: 편향 감사(bias auditing), 불확실성 전달(uncertainty communication), 인간 감독(human oversight), 안전장치(fail-safes) 등이 필요하다.

불편한 규칙 (The uncomfortable rule)

제가 스스로 지키고 있는 규칙이며, 야심 찬 AI 제안서를 작성하는 모든 사람에게 권하고 싶은 것입니다:

문서의 모든 숫자는 '측정되었거나(measured), 인용되었거나(cited), 아니면 제거되어야 한다(removed).'

• 측정됨(Measured): 실험을 실행했고, 여기에 프로토콜이 있다.
• 인용됨(Cited): 다른 사람이 측정했으며, 출처가 여기 있다.
• 제거됨(Removed): 그 외의 모든 것.

'예시 목표치(Illustrative target)'는 네 번째 범주가 아니다. 내가 시도해 봤다. 그것은 단지 더 나은 브랜딩을 갖춘 조작일 뿐이다.

이것이 중요한 이유 (Why this matters)

ASI(Artificial Superintelligence)는 기술 분야에서 가장 높은 위험 부담을 지닌 주장입니다. ASI 제안서에 포함된 모든 조작된 숫자는 독자를 오도할 뿐만 아니라, 학계 전체가 '쇼'를 진보로 받아들이도록 훈련시키고, 회의론자들에게 이 전체 노력을 일축할 수 있는 정당한 탄약을 제공합니다.

아이러니하게도: 검증 중심 프레임워크(validation-first framework)는 과장된 버전보다 오히려 더 야심적입니다. 벤치마크에서 >90%를 주장하는 것은 쉽습니다. 하지만 그것을 증명할 실험을 설계하고, 분석을 사전 등록하며, 코드를 오픈 소스화하고, 부정적인 결과까지 발표하는 것은 어렵습니다. 후자(검증 과정)가 실제로 학계를 움직이는 것입니다.

_전체 프레임워크 문서: